ensayo!de!una!prueba!de!comprensiónde! …a51ceb2b-c31f-47c5-b5ca-74f60346daa3/2… · la...

Universidad Pablo de Olavide

Máster Oficial: Enseñanza del español como lengua extranjera

Trabajo Fin de Máster titulado:

Ensayo de una prueba de comprensión de

lectura de español en menores chinos

residentes en España

Alumno:

Antonio Luis Díaz García

Tutor:

Dr. José Miguel Martín Martín

Asesor:

José Cuadrado Moreno

Curso:

2011-‐2012

Agradecimientos A mi familia, en especial a mi madre, por todo su apoyo.

A Chiara Uliana, por estar siempre ahí y entender el tiempo que le he

robado.

A Ricardo Martínez Barrero, por su ayuda en cuestiones

informáticas, por compartir conmigo los ratos de descanso y por sus

inagotables palabras de ánimo.

A mis compañeros de la Escuela Montalbán, por hacerme crecer con

ellos profesionalmente y como persona. Y en especial a María

Rodríguez, por su visión crítica, por transmitirme su experiencia y

por su ayuda desinteresada.

A Elena Alcalde y Eugenia Arrés, por ser las mejores compañeras de

viaje que nadie podrá tener.

A Zhang Zheng Quan, por estar siempre dispuesto a ayudar

desinteresadamente.

A la Directora del Colegio Chino de Granada, doña Zhang Bei, por su

colaboración.

A Guadalupe Soriano Barabino por animarme a entrar en el mundo

de la investigación y a Silvia Parra Galiano por todo lo que me ha

enseñado.

A los profesores de este máster, por saber transmitirme sus

conocimientos y conseguir que sea capaz de seguir formándome. En

especial a la coordinadora, Mª Luisa Vera Mota, por estar siempre

pendiente de todos nosotros.

A mi director, José Miguel Martín, porque sin él este proyecto no

habría sido posible.

Y, por último, a José Cuadrado, por todo lo que me ha enseñado y

sobre todo por despertar en mi la curiosidad sobre el mundo de la

evaluación en didáctica.

A todos ellos… ¡GRACIAS!

Ensayo de una prueba de comprensión de lectura de español en menores chinos residentes en España

i

TABLA DE CONTENIDOS

TABLA DE CONTENIDOS………………………………………………………………………

TABLA DE ILUSTRACIONES…………………………………………...……………………...

CAPÍTULO 1. INTRODUCCIÓN…………………………………………………………………

CAPÍTULO 2. : REVISIÓN DE LA LITERATURA…………………………….……………….

2.1. El desarrollo de pruebas según Schemeiser y Welch (2006)………………………………….

2.2. Fiabilidad: Alfa de Cronbach…...……………………………………………………………..

2.3. Análisis Factorial y Unidimensionalidad……………………………………..……………….

2.4. Independencia Local…………………………………………………………………………..

2.6. Modelo de Rasch y Procedimiento PROX…………………………………………………….

2.7. Curva Característica del Ítem (CCI)…………………………………………………………...

CAPÍTULO 3. METODOLOGÍA………………………………………………………………….

3.1. Desarrollo de la prueba………………………………………………………...………………

3.1.1. La redacción del plan general de la prueba...……………………………………….

3.1.2. La especificación del contenido que será evaluado……………………………...…

3.1.3. La redacción de las especificaciones de examen…………………………………...

3.1.4. El desarrollo de los ítems…………………………………………………………...

3.1.5. La revisión de la prueba…………………………………………………………….

3.1.6. La evaluación de los ítems, de subpruebas y de la prueba………………………….

3.1.7. Banco de ítems……………………………………………………………………...

3.1.8. La redacción del informe técnico sobre la prueba………………………………….

CAPÍTULO 4. ANÁLISIS………………………………..………………………………………..

4.1. Análisis del ajuste……………………………………………………………………………...

4.2. Alfa de Cronbach……………………………………………………………………………....

4.3. Unidimensionalidad……………………………………………………………………………

4.4. Independencia Local…………………………………………………………………………...

4.5. Estimación final de la dificultad de los ítems y de la competencia de los examinandos………

CAPÍTULO 5. CONCLUSIONES………………………………………………………………….

BIBLIOGRAFÍA……………………………………………………………………………………

i

ii

1

3

3

6

7

11

13

13

17

17

17

20

20

21

21

21

22

22

23

23

26

26

28

29

31

34


ii

ANEXO I…………………………………………………………………………………………...

ANEXO II…………………………………………………………………………………………..

ANEXO III………………………………………………………………………………………….

TABLA DE ILUSTRACIONES

37

56

72

1. Relación entre el Coeficiente alfa de Cronbach y el grado de fiabilidad………………………..

2. Gráfico de guijarros………..…………………………………………...……………………......

3. Tabla de respuestas esperadas……………………………………………………………………

4. CCI.1…………………………………………………………………………………………......

5. CCI.2……………………………………………………………………………………………..

6. Fechas del trabajo realizado……………………………………………………………………...

7. Origen de las subpruebas………………………………………………………………………...

8. Especificaciones de la prueba……………………………………………………………………

9. Valor t de los sujetos……………………………………………………………………………..

10. Valor t de los ítems……………………………………………………………………………..

11. Gráfico de sedimentación de la prueba…………………………………………………………

12. Porcentaje de la varianza explicada por los componentes con una raíz característica superior a

1…………………………………………………………………………………………………

13. Estimación final de la dificultad de los ítems…………………………………………………..

14. Estimación final de la competencia de los examinandos……………………………………….

15. Media de la dificultad de los ítems de cada nivel………………………………………………

7

8

10

14

14

19

20

20

23

24

27

27

29

29

30


1

CAPÍTULO 1. INTRODUCCIÓN

El objetivo principal de este proyecto es realizar un ensayo de una prueba de

comprensión de lectura de español de alumnos chinos de Educación Primaria y

Educación Secundaria que viven en la ciudad de Granada. A través de esta prueba,

se pretenden medir dos variables: la competencia de los alumnos y la dificultad de

los ítems.

Para ello, se ha utilizado una prueba de comprensión de lectura que evalúa los

seis niveles del Marco Común Europeo de Referencia (MCER, 2002).

La elección de este tema como objeto de investigación tiene su origen en tres

razones:

(1) Por un lado, como continuación de un proyecto de máster1 previo que

versaba sobre evaluación en didáctica de una manera muy teórica, centrada

en español y chino mandarín (Díaz García: 2011).

(2) Por otro, tras empezar a trabajar como profesor de español para

extranjeros, teniendo que preparar material y preparar a alumnos para la

realización del DELE, resultaron cuanto menos curiosos los casos en los que

un mismo alumno obtenía un diploma de un nivel superior al que estaba

matriculado en el centro de enseñanza o, al revés, que un alumno con un

buen nivel no pasara una prueba DELE muy fácil. Esto hizo suponer que

había factores, aparte del nivel del alumno, que influían a la hora de realizar

una prueba.

(3) Por último, debido al deseo de especialización tanto en evaluación

educativa como en docencia de español para sinohablantes.

1 Máster Oficial en Traducción e Interpretación (Perfil investigador) de la Universidad de Granada.


2

Por estas razones, se decidió empezar con este proyecto, el cual pretende

ampliarse en un futuro a modo de tesis.

Como se explica en el siguiente capítulo, hubo una pregunta general que guió

esta investigación y que supuso la formulación de otras Preguntas de Investigación

con sus correspondientes Hipótesis, a las cuales se pretende dar respuesta. La

pregunta general es si ¿está la prueba bien diseñada?

Esta Memoria presenta en primer lugar, en el capítulo 2, la literatura de

evaluación educativa que es necesaria para la comprensión del resto de la

Memoria. Después, en el capítulo 3, se presenta la metodología que se ha seguido

para realizar la presente Memoria. Seguidamente, en el capítulo 4, se muestra el

análisis realizado y los datos obtenidos. Por último, en el capítulo 5 se presentan

las conclusiones.


3

CAPÍTULO 2. REVISIÓN DE LA LITERATURA

En este capítulo se presenta:

1. El modelo del desarrollo de pruebas de Schemeiser y Welch (2006)

2. Fiabilidad: Alfa de Cronbach

3. Análisis Factorial y Unidimensionalidad

4. Independencia Local

5. Teoría de Respuesta a los Ítems

2.1. El desarrollo de pruebas según Schemeiser y Welch (2006)

En este apartado se enumeran aquellos pasos a seguir a la hora de desarrollar una prueba

según la descripción de este proceso ofrecida por Schemeiser y Welch (2006):

1. La redacción del plan general de la prueba.

2. La especificación del contenido que será evaluado.

3. La redacción de las especificaciones de examen.

4. El desarrollo de los ítems.

5. La composición de la prueba.

6. La revisión de la prueba.

7. La evaluación de los ítems, de subpruebas y de la prueba.

8. La construcción del banco de ítems.

9. La redacción del informe técnico sobre la prueba.

Dentro del primer paso, y de acuerdos con Downing (2006: 4-6), encontramos

numerosos factores que deben ser tratados. Entre otros, estos autores mencionan:

a. El constructo que la prueba evalúa.

b. Las interpretaciones que se deben realizar a partir de los resultados de la prueba.

c. El formato de la prueba.

d. Las fuentes principales de las evidencias relacionadas con la validez.

e. La finalidad de la prueba.

f. Las inferencias esperadas.

g. El modelo psicométrico que será utilizado durante el desarrollo de la prueba.


4

h. Los plazos para el diseño de la prueba.

i. El control de calidad.

j. Los redactores de los ítems.

k. Los revisores de estos ítems.

l. La fecha y el modo de la convocatoria.

m. El método para establecer las puntuaciones límite.

n. Los revisores de la prueba.

o. El modo de comunicar las puntuaciones a los candidatos.

p. El modo de mantener el banco de ítems de la prueba.

q. El responsable de la documentación generada, los resultados de los datos y de la

evaluación de la prueba.

Cuando hablamos de constructo nos referimos a la “capacidad o característica

mental hipotetizada que no siempre puede ser observada o medida de forma directa”

(ALTE Members, 1998: 176). Es decir, de manera más clara, el constructo es “el

concepto o característica que los diseñadores de la prueba desean medir” (American

Educational Research Association, American Psychological Association y National

Council on Measurement in Education, 1999: 173).

En lo referente a las especificaciones de examen, se adopta la definición de los

miembros de ALTE:

“Documentación detallada elaborada normalmente en el transcurso del proceso de

diseñar una prueba o de revisar una prueba ya existente. Las especificaciones

incluyen detalles sobre el diseño, contenido, nivel, tipo de ítems y actividades

empleados, población a quien está dirigida, el uso que se hará de la prueba, etc. A

menudo incluye también modelos de materiales” (ALTE Members, 1998: 185).

Las normas (American Educational Research Association, American Psychological

Association y National Council on Measurement in Education, 1999) contienen varias

reglas relacionadas con las especificaciones, a saber:

“Se deberían proporcionar pruebas documentales para las especificaciones de

examen, así como para su fundamento y para el proceso mediante el cual fueron


5

desarrolladas. Las especificaciones de examen deberían definir el contenido de la

prueba, el número propuesto de ítems, los formatos de los ítems, las propiedades

psicométricas deseadas para los ítems, y la organización de los ítems y secciones.

También deberían especificar la cantidad de tiempo que la prueba, las

instrucciones para los examinandos, los procedimientos que deben ser utilizados

para la convocatoria y la puntuación de la prueba, y otra información relevante”.

Para las especificaciones de un examen, Linn y Gronlund (2000: 143-149)

recomiendan usar una tabla de especificaciones de doble entrada, que contiene las

(sub)competencias evaluadas y el número de ítems que las evalúa.

En cuanto a la revisión de la prueba, encontramos los siguientes pasos a seguir, de

acuerdo con Schemeiser y Welch (2006: 335-337):

a. Revisión inicial.

b. Corrección.

c. Revisión por los especialistas en medición.

d. Revisión de la concordancia, contenido y justicia.

e. Revisión por los usuarios de la prueba.

f. Revisión por un comité.

g. Revisión final.

h. Corrección final del texto.

De acuerdo con Schemeiser y Welch (2006: 337), tanto la evaluación de los ítems

como de la prueba en su conjunto cuentan con dos objetivos, a saber:

1. Evaluar los ítems antes de la puntuación final.

2. Evaluar los componentes de la prueba o la prueba en su totalidad.

Para la evaluación de los ítems, de subpruebas y de la prueba, se usará la Teoría de

Respuesta a los Ítems, que se presenta en el apartado 2.2. de este capítulo.

Por otra parte, está la construcción del banco de ítems, que se puede definir como

“un conjunto relativamente grande y accesible de ítems para una prueba con


6

propiedades conocidas” (Davies et al., 1999: 93). Sin embargo, como la prueba no es de

creación propia y el objetivo de nuestra Memoria no se centra en el almacenamiento de

ítems, esta fase no será tratada.

Por último, el informe técnico sobre la prueba incluye los aspectos más relevantes

relacionados con la creación, el desarrollo, la convocatoria, la puntuación (su fiabilidad

y la validez de las interpretaciones), los análisis y la evaluación de la prueba. Es decir,

esta Memoria es el informe técnico de la prueba y de su convocatoria.

2.2. Fiabilidad: Alfa de Cronbach

Para la definición de fiabilidad, se ha elegido la aportada por las Normas de

Evaluación Educativa y Psicológica (American Educational Research Association,

American Psychological Association y National Council on Measurement in Education,

1999: 181):

“El grado en que las puntuaciones en una prueba en un grupo de examinandos

son consistentes en aplicaciones repetidas de un procedimiento de medida y,

por tanto, se infiere que son fiables, y repetibles en un determinado

examinando”.

Para medir la fiabilidad de las puntuaciones de un test se pueden utilizar

diversos métodos. En este caso, se ha decidido utilizar el coeficiente Alfa de

Cronbach, que es un valor que mide la consistencia interna de la prueba, según el

promedio de las correlaciones de los ítems (Innovamide, 2010), es decir, que mide

la relación entre los ítems. El alfa de Cronbach se calcula a partir de la siguiente

fórmula:

Donde:

- S2i es la varianza del ítem i;


7

- S2t es la varianza de los valores totales observados;

- k es el número de ítems.

De acuerdo con Murphy y Davidshofer (1994: 104), hemos realizado la

siguiente tabla con los valores del alfa de Cronbach correspondientes a la fiabilidad

de las puntuaciones:

Coeficiente alfa de Cronbach Grado de fiabilidad

Hasta 0,5 Inaceptable

De 0,5 a 0,79 Bajo

De 0,8 a 0,89 Intermedio

A partir de 0,9 Elevado Ilustración 1-‐Relación entre el Coeficiente alfa de Cronbach y el grado de fiabilidad

Otro concepto que resulta necesario introducir es el de Error estándar de

medida (EEM), que estimaremos mediante el procedimiento PROX. Tras obtener

la estimación final de la competencia de un alumno, se calcula mediante una

fórmula el EEM. Este EEM se refiere al abanico en el que oscila la nota del

estudiante.

2.3. Análisis Factorial y Unidimensionalidad

De acuerdo con Morales Vallejo (2011: 3), el análisis factorial se realiza para

obtener información acerca de la razón por la cual unas variables se relacionan

más entre sí y menos con otras, dando pie a conocer si existen otros factores que

influyen en los resultados obtenidos. Para esta Memoria, el análisis factorial se

realizará con el programa informático de estadística SPSS.

Se ha estimado oportuno realizar un acercamiento conceptual de los

siguientes términos, que aparecerán a lo largo de este trabajo:

- Gráfico de Sedimentación o Gráfico de Guijarros (Scree Plot): Cuantifica la

varianza explicada por cada factor que subyace en una prueba.2

2 Comunicación personal de José Cuadrado.


8

- Raíces Características (Eingenvalues): es el valor que cuantifica el grado

en que una persona utiliza una determinada competencia para

responder a una pregunta.

- Varianza: El valor de la varianza al cuadrado coincide con la desviación

típica (cuanto más pequeña es la desviación típica, más cerca están los

datos de la media; cuanto mayor es la desviación típica, más dispersos

están los datos)3. Mide el grado de dispersión de los datos, es decir, la

longitud de los datos a la media, indicando si los datos están muy

cercanos (competencia homogénea) o no (grado de diferencia muy

grande).

- Varianza explicada: el porcentaje de cada competencia subyacente a la

hora de responder a una prueba.

Para realizar el análisis factorial se ha seguido a Field (2000), del cual se ha

extraído el siguiente ejemplo gráfico, donde se muestra un gráfico de guijarros:

EJEMPLO DE UN GRÁFICO DE GUIJARROS (Field, 2000: 656)

RAÍCES CARACTERÍSTICAS

3 Valdés (1998, 2010).

Ilustración 2-‐Gráfico de guijarros


9

Tras conocer las raíces características, el gráfico de guijarros representa en el

eje Y una raíz característica y en el eje X un factor, con el fin de conocer la

unidimensionalidad.

Para medir la unidimensionalidad de una prueba, Cattell (1966) propuso

utilizar el gráfico de guijarros. La explicación del concepto de unidimensionalidad

se basa en Cuesta (1996), de donde se han extraído además los ejemplos siguientes

que acompañan a dicha explicación. Se entiende que una prueba es unidimensional

cuando dicha prueba mide una competencia dominante concreta. Al realizar el

análisis factorial hay que percatarse de si existe una única competencia dominante

(aquella que desea medirse) o si, por el contrario, se están midiendo más

competencias a un mismo nivel o a un nivel muy cercano. Las pruebas suelen girar

en torno a tres núcleos: errores de medida (fiabilidad), validez y

unidimensionalidad. Este tercer núcleo se centra en pruebas que pretenden medir

un único factor. Si se ordenan los ítems por dificultad, y la prueba es

unidimensional, la habilidad de las personas será la medida principal para

determinar la dificultad de los ítems. Si, por el contrario, la prueba no es

unidimensional, es decir, hay más de un factor en juego a la hora de realizar la

prueba, no se sabrá si el ítem ha sido fácil/difícil debido a un factor u otro, o por la

mezcla de ambos, y en este caso, la medida en la que cada factor influye.

Siguiendo con el ejemplo anterior, si la prueba no es unidimensional puede

que haya dos personas que obtengan una misma puntuación teniendo habilidades

muy distintas. En el caso que nos ocupa, que influyan dos factores: la comprensión

lectora y, por ejemplo, el azar. En este caso, la prueba no sería unidimensional, ya

que habría más de un factor que influye a la hora de responder a los ítems de la

prueba y no se estaría midiendo sólo la comprensión lectora. La realidad es que en

la práctica lo normal es que en una prueba existan varias competencias principales

que influyen en las respuestas de los examinandos.

Entre los distintos índices en los que se puede basar el cálculo de la

unidimensionalidad, se ha optado por los Índices basados en los Patrones de

Respuesta. Se parte de la idea de que si se ordenan los ítems de menor a mayor


10

dificultad, de forma que el sujeto que acierte el Ítem 2, habrá acertado también el

Ítem 1; el sujeto que haya acertado el Ítem 12, habrá acertado también los 11

anteriores. De igual forma, se presupone que el sujeto que haya acertado el Ítem 2

pero no el Ítem 3, no habrá acertado nada más que dos ítems: el 1º y el 2º. Este tipo

de respuestas serían las esperadas, aunque no siempre es así y por ello hay que

realizar el ajuste, como se muestra más adelante. Por lo tanto, la tabla resultante (y

ya ordenada) para que la prueba sea considerada unidimensional al 100% será

parecida a la siguiente, contando como valor 1 el acierto al ítem y el valor 0 como

una respuesta incorrecta:

Ítem 1 Ítem 2 Ítem 3 Ítem 4 Ítem 5 Ítem 6 Ítem 7

Sujeto 1 0 0 0 0 0 0 0

Sujeto 2 1 0 0 0 0 0 0

Sujeto 3 1 1 0 0 0 0 0

Sujeto 4 1 1 1 0 0 0 0

Sujeto 5 1 1 1 1 0 0 0

Sujeto 6 1 1 1 1 1 0 0

Sujeto 7 1 1 1 1 1 1 0

Sujeto 8 1 1 1 1 1 1 1 Ilustración 3-‐Tabla de respuestas esperadas

Si en la tabla precedente el Sujeto 1 hubiera acertado algún ítem, sería una

respuesta inesperada. Si el Sujeto 8 hubiera fallado algún ítem, también sería una

respuesta inesperada. Es decir, si en la zona sombreada aparece el valor 0 en vez

del valor 1, se considera respuesta inesperada. Al igual que si en la zona de valores

0 aparece un 1, también sería una respuesta inesperada. Todo ello, claro está y

como ya se ha indicado, tras haber ordenado los ítems por dificultad (de izquierda

a derecha, de menor a mayor) y a los sujetos por nivel de habilidad (en la primera

fila el de menor habilidad y en la última el de mayor).


11

2.4. Independencia Local De acuerdo con Matas Terrón (2010), la independencia local se cumple cuando la

respuesta dada a un ítem no influye en la que se da a otro ítem. Para calcularla, se

puede usar el estadístico Q3 de Yen (1984: 125-‐145). Para su estimación se ha

usado un procedimiento ligeramente diferente del empleado por Yen (1984). En

primer lugar, se recogen los datos con las puntuaciones de cada alumno (ítem

acertado = valor 1; ítem no acertado = valor 0). A continuación, se ordenan estos

datos de forma que en las filas aparecen los alumnos que han obtenido de menor a

mayor número de aciertos y en las columnas los ítems de más a menos acertados.

A esta tabla se le denomina “Tabla de respuestas observadas” (en cada celda

estarán los valores o, es decir, las respuestas observadas). Aparte, se crea otra

tabla con las respuestas esperadas (en cada celda estarán los valores e, es decir, las

respuestas esperadas). Por último, se construye una tabla denominada Tabla de

residuos donde aparece en cada celda el valor re, que proviene de restar a la

respuesta observada la respuesta esperada, según la siguiente ecuación:

re = o -‐ e

Por último, se calculan las correlaciones lineales de los valores de la Tabla de

residuos.

De acuerdo con Yen y Fitzpatrick (2006: 141), dos ítems son localmente

independientes si el valor Q3 para estos dos ítems es un valor superior a 0,2. Una

de las razones por las que puede aparecer un valor Q3 elevado entre dos ítems de

una prueba de comprensión de lectura es que los dos ítems estén relacionados con

el mismo texto.

2.5. Teoría de Respuesta a los Ítems

La teoría psicométrica empleada en esta Memoria es la Teoría de Respuesta a los

Ítems (TRI). Esta teoría trata de medir rasgos latentes a través de una serie de

modelos matemáticos. Las bases de esta teoría fueron desarrolladas por el danés

Geog Rash. La TRI también se denomina TRL (Teoría de los Rasgos Latentes) y da

por hecho que hay una relación no lineal entre la respuesta de una persona a una


12

pregunta o prueba y el rasgo de dicha persona (entendiendo rasgo como habilidad,

competencia, actitud, aptitud, etc.), y que dicha relación puede expresarse en

términos probabilísticos (Matas Terrón, 2010).

Se parte de la idea de que la respuesta depende solamente del nivel del rasgo,

no del ítem. Es decir, “la importancia de la TRI está en el nivel de rasgo (…) [y éste]

es independiente del test y del ítem utilizado para estimarlo” (Matas Terrón,

2010). Así, el rasgo pasa a ser la variable independiente y la respuesta la variable

dependiente.

De acuerdo con Matas Terrón (2010), los supuestos básicos de la TRI son los

siguientes:

1. Se asume la existencia de una variable no observada, latente, que explicaría

las respuestas de las personas a un ítem.

2. Unidimensionalidad (el ítem mide un solo rasgo).

3. Independencia local (la respuesta a un ítem no influye en la respuesta dada

a ningún otro).

En lo referente al procedimiento para el análisis de un test por medio de la TRI,

de acuerdo con Matas Terrón (2010), se siguen los pasos enumerados a

continuación:

a) Preparar los datos para su análisis.

b) Analizar si los datos cumplen los supuestos básicos de la TRI.

c) Estimar los parámetros del modelo elegido (En nuestro caso, el modelo de

un parámetro). Elaborar los resúmenes y las gráficas correspondientes.

d) Analizar el ajuste del modelo a los datos.

e) Estimar los niveles de habilidad de los participantes.

La TRI es especialmente útil no sólo para conocer el resultado de la evaluación

de la competencia de una persona, sino también para tener información acerca de

la eficacia del instrumento de evaluación (Matas Terrón, 2010).


13

2.6. Modelo de Rasch y Procedimiento PROX

De los diferentes modelos de la TRI, esta Memoria está basada en el Modelo de un

parámetro, conocido también como Modelo de Rasch. Se trata de un “modelo

dicotómico, donde las respuestas a los ítems tienen dos opciones, normalmente

valoradas como 1 y 0” (Matas Terrón, 2010).

Entre los diferentes procedimientos existentes dentro del modelo de un

parámetro, se ha escogido el procedimiento PROX (Wright y Stone, 1979) para

estimar tanto (1) la dificultad del ítem como (2) la habilidad de cada estudiante.

Este procedimiento está explicado en el Anexo I.

2.7. Curva Característica del Ítem (CCI)

La relación entre el nivel de competencia y la probabilidad de proporcionar una

respuesta correcta al ítem se representa con la curva característica del ítem

(Muñiz, 2010). En la práctica, los valores de competencia de los examinandos

suelen oscilar entre -‐3 y +3 puntos. En el eje X se sitúan los valores

correspondientes a la habilidad y en el eje Y las probabilidades asociadas (Matas

Terrón, 2010).

A continuación se muestra la ecuación en la que se basa el Modelo de Rasch

(Modelo de un parámetro) para calcular la CCI (Baker, 2001:25):

Donde:

- P = probabilidad

- θ = nivel de habilidad

- e = 2,718

- b = dificultad del parámetro


14

A continuación se presenta una CCI (Baker, 2001: 7):

Ilustración 4-‐CCI.1

Como se puede apreciar en esta CCI cuanta menos habilidad se tiene, existe

menos probabilidad de acertar este ítem.

En el siguiente ejemplo, también de Baker (2001: 8), se muestran tres CCs,

donde cada ítem posee una dificultad distinta:

Ilustración 5-‐CCI.2


15

Se puede observar, por ejemplo en la curva más cercana al eje X, que el ítem

que está representado por dicha curva es más difícil que el que está representado

por la curva más alejada del eje X; es decir, que la primera curva que hemos citado

representa un ítem que, aunque el alumno tenga una habilidad de 3, sólo tiene una

probabilidad de acertarlo de 0,8. Sin embargo, la curva más alejada del eje X

representa un ítem más fácil, pues aunque el alumno tenga una habilidad muy baja,

tiene una probabilidad de acertar correctamente de 0,2 y con una habilidad de 1 se

acerca a la probabilidad de acertar correctamente el ítem.

Llegados a este punto, se planteó una pregunta general (¿está la prueba bien

diseñada?) que originó una serie de preguntas que guiaron nuestra investigación:

• Pregunta de Investigación 1:

¿Es la prueba de comprensión de lectura unidimensional?

Hipótesis Nula 1:

El porcentaje de la varianza explicada por el factor con la raíz característica

mayor es igual o superior al 80%.


¿Los ítems son independientes localmente?

Hipótesis Nula 2:

No existe ningún índice Q3 igual o superior a 0,2.


¿Son los ítems de los niveles comunes de referencia inferiores más fáciles

que los ítems de los niveles comunes de referencia superiores?

Hipótesis Nula 3:


16

La media de dificultad de los ítems de A1 es inferior a la media de la

dificultad de los ítems de A2, al igual que la media de la dificultad de los

ítems de A2 es inferior a la media de la dificultad de los ítems de B1, y al

mismo tiempo la media de la dificultad de los ítems de B1 es inferior a la

media de la dificultad de los ítems de B2, de igual forma que la media de la

dificultad de los ítems de B2 es inferior a la media de la dificultad de los

ítems de C1, y que esta última es inferior a la media de la dificultad de los

ítems de C2. Esta idea se representa mediante la siguiente fórmula:

µA1 < µA2 < µB1 < µB2 < µC1 < µC2


¿La fiabilidad de las puntuaciones basadas en las respuestas que dieron los

alumnos es intermedia?

Hipótesis Nula 4:

El valor del alfa de Cronbach es igual o superior a 0,8.


¿Proporcionarán todos los examinandos respuestas de acuerdo con su nivel

de competencia?

Hipótesis Nula 5:

Al realizar el análisis del ajuste, ningún alumno tendrá un valor de t

superior a 1,67.


17

CAPÍTULO 3. METODOLOGÍA

En este apartado se explica cómo se desarrolló la prueba y la convocatoria:

1. Desarrollo de la prueba

2. La redacción del plan general de la prueba

3. La especificación del contenido que será evaluado

4. La redacción de las especificaciones de examen

5. El desarrollo de los ítems

6. La revisión de la prueba

7. La evaluación de los ítems, de subpruebas y de la prueba

8. Banco de ítems

9. La redacción del informe técnico sobre la prueba

La prueba de comprensión de lectura objeto de esta Memoria está disponible

en el Anexo II.

3.1. Desarrollo de la prueba

Tal y como se ha mencionado en el capítulo anterior, el diseño de la prueba sigue los

pasos a seguir enumerados por Schemeiser y Welch (2006):

1. La redacción del plan general de la prueba.

2. La especificación del contenido que será evaluado.

3. La redacción de las especificaciones de examen.

4. El desarrollo de los ítems.

5. La revisión de la prueba.

6. La evaluación de los ítems, de subpruebas y de la prueba.

7. La creación de un banco de ítems.

8. La redacción del informe técnico sobre la prueba.

3.1.1. La redacción del plan general de la prueba

Los constructos que se pretenden medir con esta prueba son la competencia de

comprensión de lectura de los alumnos que han realizado dicha prueba y la dificultad de

los ítems de la prueba.


18

En cuanto a las interpretaciones que se desean realizar a partir de las puntuaciones

obtenidas en la prueba, se pretende conocer si el alumno tiene más o menos nivel de

competencia de lectura según el MCER (2002). El formato será el de lápiz y papel,

debido a que los medios de los que se dispone no permiten realizar la prueba a través de

ordenadores. La fuente principal de las evidencias relacionadas con la validez tuvo su

origen en la estructura interna de la prueba: la media de la dificultad de los ítems de A1

es inferior a la media de la dificultad de los ítems de A2, la media de la dificultad de los

ítems de A2 es inferior a la media de la dificultad de los ítems de B1, la media de la

dificultad de los ítems de B1 es inferior a la media de la dificultad de los ítems de B2, la

media de la dificultad de los ítems de B2 es inferior a la media de la dificultad de los

ítems de C1 y la media de la dificultad de los ítems de C1 es inferior a la media de la

dificultad de los ítems de C2. Basándose en la Hipótesis Nula 3 resumida con la

fórmula siguiente:

µA1 < µA2 < µB1 < µB2 < µC1 < µC2

Además, se cuenta con las evidencias de contenido realizadas por el experto en

evaluación D. José Cuadrado Moreno.

La finalidad de la prueba es identificar el nivel común de referencia de la

competencia de lectura en español de los alumnos del Colegio Chino de Granada. El

número total de sujetos fue de 21, de edades comprendidas entre 9 y 14 años.

El modelo psicométrico empleado será el de Teoría de Respuesta a los Ítems,

presentado en el capítulo anterior.

El lugar de celebración de la prueba fue el Colegio Inmaculada del Triunfo

(Granada). La fecha de la convocatoria fue el sábado 15 de septiembre de 2012. Hasta

entonces, el trabajo realizado había sido el siguiente:


19

FECHA APROXIMADA

TRABAJO REALIZADO

Febrero 2012 Decidir el tema, acotarlo y marcar las

directrices del proyecto.

Marzo 2012 Comenzar a aprender estadística.

Abril 2012

Realizar ejercicios de estadística y

corrección de los ejercicios.

Examinar la prueba de lectura y concertar

las citas para la explicación del modo de

realizar la prueba.

Mayo 2012

Aprender a utilizar el programa SPSS.

Empezar la redacción del proyecto,

contando con los cambios surgidos.

Junio 2012 Lectura de artículos especializados.

Julio 2012

Ejercicios de estadística.

Lectura de artículos especializados.

Agosto 2012

Realización de un ejemplo práctico de un

análisis de las puntuaciones de una prueba

según el modelo PROX.

Septiembre 2012

Realizar la convocatoria de la prueba,

analizar los datos y obtener las

conclusiones. Ilustración 6-‐Fechas del trabajo realizado


20

Los ítems de la prueba proceden de diferentes pruebas4:

NIVEL ÍTEMS ORIGEN

A1 12 Traducción de Cambridge ESOL (2007)

A2 9 Traducción de Cambridge YLE (2007)

B1 9 DELE (2008)

B2 7 Traducción de Cambridge ESOL (2010)

C1 6 DELE (2010)

C2 9 DELE (2009) Ilustración 7-‐Origen de las subpruebas

3.1.2. La especificación del contenido que será evaluado.

Se presuponía que la prueba medía el nivel de competencia en comprensión de lectura

de los sujetos. Para ser más exactos, se pretendía medir la competencia de lectura

intensiva, entendida como una actividad lingüística comunicativa donde el sujeto debe

prestar atención a formas gramaticales, marcadores discursivos, pragmática,

vocabulario, etc. específico, normalmente de un texto, con el fin de poder responder a

una serie de preguntas sobre dicho texto; de acuerdo con las ideas de otros autores que

MacLeod (sin fecha)5 recoge en su artículo.

3.1.3. La redacción de las especificaciones de examen.

DESTREZA LECTORA

PARTE Nº ÍTEMS NIVEL TOTAL ÍTEMS

1 1-6 A1 6

2 7-12 A1 6

3 13-16 A2 4

4 17-21 A2 5

5 22-24 B1 3

6 25-30 B1 6

7 31-37 B2 7

4 La prueba ha sido creada por Rafael Muñoz Rubio y José Manuel García. 5 Los autores a los que MacLeod hace referencia son:

-‐ Long, Michael & Richards, J. (1987) Methodology in TESOL, Boston: Heinle Publishers -‐ Brown, D.S. (1988) A World of Books: An Annotated Reading List for ESL/EFL Students (2nd ed.) Washington, DC:

Teachers of English to Speakers of Other Languages


21

8 38-43 C1 6

9 44-52 C2 9 Ilustración 8-‐Especificaciones de la prueba

3.1.4. El desarrollo de los ítems.

Todos los ítems son de elección múltiple, es decir, el examinando selecciona una

opción de un conjunto limitado de respuestas alternativas posibles.

3.1.5. La revisión de la prueba.

Para llevar a cabo la presente Memoria, y ya que la prueba no es de creación propia, la

revisión está basada en los juicios del asesor de esta Memoria, el profesor José

Cuadrado Moreno.

Además, para conocer los posibles problemas que podrían surgir durante la

convocatoria de la prueba, se realizó un ensayo con 12 sujetos adultos de diversos

países y niveles que estaban estudiando español en la Escuela Montalbán-TÁNDEM de

Granada. Gracias a este ensayo, se pudieron corregir ciertos fallos de forma y ampliar

las explicaciones sobre cómo realizar la prueba, evitando así posibles problemas y

mejorando la prueba.

3.1.6. La evaluación de los ítems, de subpruebas y de la prueba.

Para la evaluación de los ítems, subpruebas y la prueba, se han utilizado varios

procedimientos:

1. Estimar el alfa de Cronbach de la prueba.

2. Un gráfico de sedimentación para conocer la unidimensionalidad de la prueba.

3. Estimar la independencia local de los ítems.

4. El procedimiento PROX (Anexo I), para estimar la dificultad de los ítems y la

competencia de lectura de los sujetos, después de realizar un análisis del ajuste

de los datos obtenidos en la convocatoria.


22

3.1.7. Banco de ítems

Este paso no se ha realizado ya que el objetivo de esta Memoria era estimar la dificultad

de los ítems de la prueba y la competencia de lectura de los examinandos.

3.1.8. La redacción del informe técnico sobre la prueba.

En este caso, el informe técnico sobre la prueba puede corresponder a la presente

Memoria.


23

CAPÍTULO 4. ANÁLISIS

En este capítulo se presentan los datos de los siguientes aspectos de la evaluación

de la prueba y de los ítems:

1. Análisis del ajuste

2. Alfa de Cronbach

3. Unidimensionalidad

4. Independencia Local

5. Procemiento PROX

4.1. Análisis del ajuste

En el Anexo II se adjuntan todas las tablas originadas al realizar el procedimiento

PROX, explicado con ejemplos en el Anexo I.

Se ha realizado el ajuste y eliminado aquellos sujetos e ítems que tienen un

valor t por encima del valor límite, como se puede observar en la siguiente tabla:

Para los estudiantes, el valor límite t es 1,72. Se han resaltado en gris aquellos

estudiantes cuyos valores t sobrepasan el valor límite.

ESTUDIANTE VALOR T

3 0,38

9 0,00

10 -‐0,76

7 -‐2,71

19 -‐2,03

5 -‐0,33

6 -‐4,19

13 -‐1,22

2 -‐2,58

15 4,77


24

4 -‐4,71

11 7,14

1 -‐0,91

17 -‐1,56

8 -‐0,40

18 1,40

12 1,88

14 4,55

21 3,89

16 1,88

20 2,03 Ilustración 9-‐Valor t de los sujetos

Se han eliminado los sujetos: 15, 11, 12, 14, 21, 16, 20

Para los ítems, el valor límite t es 1,67. Se han resaltado en gris aquellos ítems

cuyos valores t sobrepasan el valor límite.

ÍTEMS VALOR T

2 -‐2,95

3 *

5 *

6 -‐1,93

9 -‐2,95

10 -‐2,95

12 0,72

8 5,46

11 2,65

21 6,32

1 1,39

4 -‐0,77

14 0,00


25

20 6,83

7 -‐3,75

16 -‐1,63

17 -‐4,21

18 1,17

13 -‐5,96

19 -‐2,59

25 -‐1,93

24 -‐5,29

23 -‐2,59

29 12,23

30 -‐7,93

26 0,24

27 -‐6,80

28 -‐3,75

22 2,85

32 -‐0,25

41 -‐0,77

45 2,03

35 3,63

38 -‐0,51

43 1,17

44 3,05

36 5,28

37 5,28

39 7,83

40 2,24

42 3,63

47 3,63

31 9,29

33 18,67

34 2,85


26

48 6,15

49 -‐1,93

50 0,24

51 *

52 -‐9,77 Ilustración 10-‐ Valor t de los ítems

* Los ítems 2, 3 y 51 han sido eliminados porque su z2 es igual a 0.

Se han eliminado los ítems: 3, 5, 8, 11, 21, 20, 29, 22, 45, 25, 44, 36, 37, 39, 40,

42, 47, 31, 33, 34, 48 y 51.

Además, tras eliminar estos ítems, hay que volver a eliminar aquellos que no

han sido acertados por ningún sujeto restante. Por lo tanto, también han sido

eliminados los ítems 41, 38, 43, 49, 50 y 52.

Por lo tanto, existe evidencia suficiente para rechazar la Hipótesis Nula 56.

4.2. Alfa de Crombach

A continuación, se calculó el alfa de Cronbach para la prueba, siendo alfa igual a

0,85. De acuerdo con Murphy y Davidshofer (1994: 104), la fiabilidad de las

puntuaciones obtenidas en la prueba es intermedia y, por lo tanto, no existen

pruebas para rechazar la Hipótesis Nula 47.

4.3. Unidimensionalidad

Para determinar la unidimensionalidad de la prueba se realizó un análisis factorial

y se obtuvo un gráfico de sedimentación que presenta los componentes con una

raíz característica superior a 1.

6 Hipótesis Nula 5: Al realizar el análisis del ajuste, ningún alumno tendrá un valor de t superior a 1,67. 7 Hipótesis Nula 4:.El valor del alfa de Cronbach es igual o superior a 0,8.


27

Ilustración 11-‐Gráfico de sedimentación de la prueba

COMPONENTE PORCENTAJE DE LA VARIANZA EXPLICADA

1 28,59

2 18,61

3 15,19

4 9,88

5 7,35

6 7,04

7 3,56

8 3,11

9 2,10

10 1,99

11 1,26

12 0,97

13 0,33 Ilustración 12-‐Porcentaje de la varianza explicada por los componentes con una raíz característica superior a 1.


28

Por lo tanto, se puede afirmar que, después de eliminar con el análisis del

ajuste los ítems y los examinandos que producían respuestas significativamente

inesperadas, la prueba sigue sin ser unidimensional, ya que se observa más de un

punto de inflexión en el gráfico de sedimentación y dado que existen componentes

con unos porcentajes muy altos de varianza explicada. Es decir, hay trece

componentes que han influido en las respuestas a los ítems. Para que la prueba

hubiera sido unidimensional, se debería haber obtenido un primer factor con un

porcentaje de varianza explicada muy elevado (80%-‐100%), mientras que los

restantes componentes deberían poseer unos porcentajes de varianza explicada

muy bajos. Por lo tanto, las respuestas a los ítems de la prueba han sido influidas

de manera decisiva por varias competencias, una de las cuales es probablemente la

competencia de comprensión de lectura. Entre otras posibles competencias que

probablemente influyeron en las respuestas de los examinandos están el azar, la

familiaridad con el tipo de pregunta, el nivel cultural, etc. Hay que resaltar que el

análisis de la unidimensionalidad no indica que la competencia subyacente que

más ha influido en las respuestas a los ítems sea la competencia de lectura, ya que

podría haber sido otra. Por lo tanto, existe evidencia suficiente para rechazar la

Hipótesis Nula 18.

4.4. Independencia Local

Los valores con un asterisco en la siguiente matriz de valores Q3 poseen una

marcada dependencia local, es decir, el índice de correlación lineal

correspondiente al par de ítems es igual o superior a 0,2. Se puede observar en la

tabla del Anexo III.

En esta tabla se puede observar que, en general, existe una dependencia local

más marcada entre los ítems de A1 y A2, al igual que entre los ítems de B1 y de B2.

Por lo tanto, existe evidencia suficiente para rechazar la Hipótesis Nula 29.

8 Hipótesis Nula 1: El porcentaje de la varianza explicada por el factor con la raíz característica mayor es igual o superior al 80%. 9 Hipótesis Nula 2: No existe ningún índice Q3 igual o superior a 0,2.


29

4.5. Estimación final de la dificultad de los ítems y de la competencia de los

examinandos

NIVEL ÍTEMS DIFICULTAD EEM A1 1 -‐2,97 2,35 A1 2 -‐4,17 1,60 A1 4 -‐2,22 3,01 A1 6 -‐4,17 1,60 A1 7 -‐1,63 3,64 A1 9 -‐4,17 1,60 A1 10 -‐4,17 1,60 A1 12 -‐4,17 1,60 A2 13 -‐0,66 4,99 A2 14 -‐2,22 3,01 A2 16 -‐2,22 3,01 A2 17 -‐1,63 3,64 A2 18 -‐2,22 3,01 A2 19 -‐1,12 4,29 B1 23 0,23 6,65 B1 24 0,69 7,73 B1 25 -‐0,66 4,99 B1 26 0,69 7,73 B1 27 1,20 9,11 B1 28 1,20 9,11 B1 30 0,69 7,73 B2 32 1,79 11,03

Ilustración 13-‐Estimación final de la dificultad de los ítems

PERSONA COMPETENCIA EEM 1 3,19 3,22 2 1,70 4,97 3 -‐0,97 10,73 4 2,60 3,83 5 0,64 6,75 6 0,97 6,13 7 -‐0,97 10,73 8 3,19 3,22 9 -‐0,97 10,73 10 -‐0,64 9,75 13 1,32 5,54 17 3,19 3,22 18 3,98 2,57 19 0,00 8,11

Ilustración 14-‐ Estimación final de la competencia de los examinandos


30

Para responder a la Pregunta de Investigación 3, se han calculado las medias

de la dificultad de los ítems para cada nivel, que se muestran en la siguiente tabla:

NIVEL MEDIA

A1 -‐3,46

A2 -‐1,68

B1 0,58

B2 1,79

C1 0

C2 0 Ilustración 15-‐Media de la dificultad de los ítems de cada nivel

Por lo tanto, no existe evidencia para rechazar la Hipótesis Nula 310.

10 Hipótesis Nula 3: La media de dificultad de los ítems de A1 es inferior a la media de la dificultad de los ítems de A2, al igual que la media de la dificultad de los ítems de A2 es inferior a la media de la dificultad de los ítems de B1, y al mismo tiempo la media de la dificultad de los ítems de B1 es inferior a la media de la dificultad de los ítems de B2, de igual forma que la media de la dificultad de los ítems de B2 es inferior a la media de la dificultad de los ítems de C1, y que esta última es inferior a la media de la dificultad de los ítems de C2.


31

CAPÍTULO 5. CONCLUSIONES

Se puede afirmar que los examinandos usaron de manera significativa más de una

competencia para responder la prueba, a priori de lectura, es decir, que la prueba

no es unidimensional, por lo que no se puede describir estrictamente como

“prueba de comprensión de lectura”, ya que han influido otras competencias en un

grado similar y muy elevado.

En cuanto a las preguntas de investigación planteadas en el capítulo 2, que han

originado una serie de hipótesis que han guiado este trabajo, se puede afirmar lo

siguiente:


¿Es la prueba de comprensión de lectura unidimensional?

Hipótesis Nula 1:

El porcentaje de la varianza explicada por el factor con la raíz característica

mayor es igual o superior al 80%.

Respuesta a la Pregunta de Investigación 1:

Existe evidencia suficiente para rechazar la Hipótesis Nula 1.


¿Los ítems son independientes localmente?

Hipótesis Nula 2:

No existe ningún índice Q3 igual o superior a 0,2.


Existe evidencia suficiente para rechazar la Hipótesis Nula 2.


32


¿Son los ítems de los niveles comunes de referencia inferiores más fáciles

que los ítems de los niveles comunes de referencia superiores?

Hipótesis Nula 3:

La media de dificultad de los ítems de A1 es inferior a la media de la

dificultad de los ítems de A2, al igual que la media de la dificultad de los

ítems de A2 es inferior a la media de la dificultad de los ítems de B1, y al

mismo tiempo la media de la dificultad de los ítems de B1 es inferior a la

media de la dificultad de los ítems de B2, de igual forma que la media de la

dificultad de los ítems de B2 es inferior a la media de la dificultad de los

ítems de C1, y que esta última es inferior a la media de la dificultad de los

ítems de C2. Esta idea se representa mediante la siguiente fórmula:

μA1 < μA2 < μB1 < μB2 < μC1 < μC2


No existe evidencia para rechazar la Hipótesis Nula 3.


¿La fiabilidad de las puntuaciones basadas en las respuestas que dieron los

alumnos es intermedia?

Hipótesis Nula 4:

El valor del alfa de Cronbach es igual o superior a 0,8.


No existe evidencia para rechazar la Hipótesis Nula 4.


33


¿Proporcionarán todos los examinandos respuestas de acuerdo con su nivel

de competencia?

Hipótesis Nula 5:

Al realizar el análisis del ajuste, ningún alumno tendrá un valor de t

superior a 1,67.


Existe evidencia suficiente para rechazar la H50.

Tras realizar el ensayo, han surgido una serie de cuestiones que se esperan

resolver en un proyecto de futuro, como por ejemplo:

- Sería conveniente haber complementado la medida de fiabilidad

volviendo a pasar la prueba a los mismos alumnos. Sin embargo, por

falta de tiempo ha sido imposible.

- La prueba realizada consta de subpruebas para adultos y se ha realizado

con menores. Para un futuro, se pretende buscar ítems para menores

(sobre todo para los niveles C1 y C2). Otra opción sería eliminar las

pruebas de los niveles más altos ya que se precisa de conocimiento del

mundo para poder responder correctamente.

- Sería interesante realizar la prueba en otros colegios chinos, como el de

Málaga o Sevilla, para poder comparar los datos.

- Existe la posibilidad de construir una prueba o un banco de ítems que se

puedan utilizar en distintas lenguas.

En un futuro, se pretende seguir una línea de investigación especializada en

evaluación de pruebas de comprensión de lectura para menores.


34

CAPÍTULO 6. Bibliografía

American Educational Research Association, American Psychological Association,

& National Council on Measurement in Education (1999): Standards for

educational and psychological testing. Washington, DC: American Educational

Research Association.

Association of Language Testers in Europe Members (1998): Multilingual glossary

of language testing terms. Cambridge: Cambridge University Press.

Baker, Frank (2001): The Basics of Item Response Theory. ERIC Clearinghouse on

Assessment and Evaluation. University of Maryland, College Park, MD.

Cattell, R. B. (1966): “The Scree Test for the Number of Factors”. En: Multivariate

Behavioral Research, 1, 245 -‐276.

Cuesta, M . (1996): “Unidimensionalidad”. En: J. Muñiz. (Coord): Psicometría.

Madrid: Ed. Universitas S.A. Cap.7, 239 – 291.

Davies, A. et al. (1999): Dictionary of language testing. Cambridge: Cambridge

University Press.

Díaz García, A. L. (2011): Marco teórico preliminar para el diseño de instrumentos

de evaluación en la didáctica de la traducción chino-‐español. Trabajo Fin de

Máster. Facultad de Traducción e Interpretación. Universidad de Granada.

Downing, S. M. (2006): “Twelve steps in test development”. En: Downing, S. M.;

Haladyna, T. M. (eds.): Handbook of test development. New York; London:

Routledge. 3-‐25.

Field, A. (2000): Discovering Statistics Using SPSS. Londres: SAGE.

Innovamide. Grupo de Innovación Educativa de la Universidad de Valencia (2010):

SPSS: Análisis de Fiabilidad. Alfa de Cronbach. Disponible en:


35

http://www.uv.es/innovamide/spss/SPSS/SPSS_0801B.pdf [Última consulta:

10/09/2012].

Linn, R. L.; Gronlund, N. E. (2000): Measurement and assessment in teaching. Upper

Saddle River: Merrill.

MacLeod, M. (sin fecha): Types of Reading. Disponible en:

http://fis.ucalgary.ca/Brian/611/readingtype.html#intensivereading. [Última

consulta: 21/08/2012]

Marco común europeo de referencia para las lenguas: aprendizaje, enseñanza,

evaluación (2002): Instituto Cervantes. Traducción de Common European

Framework of Reference for Languages: Learning, Teaching, Assessment (2001).

Stras-‐ bourg: Council of Europe. Disponible en:

http://cvc.cervantes.es/ensenanza/biblioteca_ele/marco/ [Última consulta:

10/09/2012].

Matas Terrón, A. (2010): Introducción al análisis de la Teoría de Respuesta al Ítem.

Ed: Aidesoc.net

Morales Vallejo, P. (2011): El Análisis Factorial en la construcción e interpretación

de test, escalas y cuestionarios. Disponible en:

http://www.upcomillas.es/personal/peter/investigacion/AnalisisFactorial.pdf

[Última consulta: 21/08/2012].

Muñiz, J. (2010): “Las Teorías de los Test: Teoría Clásica y Teoría de Respuesta a

los Ítems”. En: Papeles del Psicólogo, vol. 31, nº 1, 57-‐66.

Murphy, K. R., y Davidshofer, C. O. (1994): Psychological Testing: Principles and

Applications. Englewood Cliffs, New Jersey: Prentice Hall.

Rizopoulos, D. (2006): “ltm: An R package for latent variables modelin and item

reponse theory analysis”. En: Journal of statistical software, 17(5), 1-‐25.


36

Schmeiser, C. B.; Welch, C. (2006): “Test development”. En: Brennan, R. L. (ed.).

Educational Measurement. Westport, Connecticut: American Council on

Education; Praeger, pp. 307-‐353.

Valdés, F. (1998, 2010): “Comprensión y uso de la estadística”. Disponible en:

http://web.cortland.edu/flteach/stats/glos-‐sp.html [Última consulta:

10/09/2012]

Wright, B.D.; Stone, M.H. (1979): Best Test Design. Chicago, ILL: MESA Press .

Yen (1993): “Scaling Performance Assessments: Strategies for Managing Local

Item Dependence”. Wendy M. Yen CTB Macmillan/McGraw-‐Hill.

Yen, W.M. y Fitzpatrick, A.R. (2006): Item Reponse Theory. En: Brennan, R.L. (Ed.):

Educational Mesurement. American Council on Education/Praeger, Westport,

CT.

37

ANEXO I – PROCEDIMIENTO PROX

Wright y Stone dividen este proceso en 12 pasos:

1. Organización de los datos.

2. Edición de los datos.

3. Obtención de la calibración inicial del ítem

4. Obtención de la competencia inicial de cada persona

5. Cálculo de los factores de expansión

6. Corrección de la calibración de los ítems

7. Corrección de la competencia de las personas

8. Edición de la tabla de respuestas

9. Selección de respuestas inesperadas

10. Cálculo del valor de las respuestas inesperadas

11. Cálculo del z2

12. Ajuste final de la dificultad de los ítems y de la habilidad de cada sujeto

PASO 1. Organización de los datos Para realizar este procedimiento, lo primero que se debe hacer es recoger las

respuestas que cada examinando ha proporcionado en cada ítem de la prueba. En

el ejemplo se ha pasado una prueba de 14 ítems a 35 sujetos. Las respuestas se han

clasificado de la siguiente forma:

-‐ Valor 1 para las respuestas correctas.

-‐ Valor 0 para las respuestas incorrectas.

En la primera columna de la Tabla I.1 encontramos a las personas, en la última a la

puntuación total de aciertos de cada persona, las columnas centrales corresponden

a los diferentes ítems y la última fila al número de respuestas acertadas para cada

ítem.

38

PASO 2. Edición de los datos Para procesar los datos, lo primero que se debe hacer es eliminar aquellos ítems

que han sido o demasiado fáciles o demasiado difíciles, es decir, aquellos que todas

las personas han acertado o aquellos que todas las personas han fallado. En el

ejemplo de la gráfica anterior, se deberían eliminar los ítems 1, 2, 3, 18. Asimismo,

se deben eliminar aquellas personas que han acertado todos los ítems o que han

fallado todos, por lo que deberíamos eliminar también a la persona 35.

Los autores explican la razón por la cual se deben eliminar esos ítems o esos

examinandos, y es porque si un ítem no ha sido acertado por ninguna persona,

demuestra que se trata de un ítem demasiado difícil; al igual que si ha sido

acertado por todos, el ítem es demasiado fácil. Sin embargo, también afirman que

se trata de un caso concreto, es decir, que se han eliminado los ítems 1, 2, 3 y 18

porque en este caso concreto, para estas personas, estos ítems resultan muy fáciles

(1, 2 y 3) o muy difícil (18). El mismo razonamiento para aquellas personas

eliminadas: no significan que no sepan nada (o lo sepan todo), sino que se trata de

una prueba concreta. Seguramente estas personas, al realizar otra prueba, sí

acertarán/fallarán varias respuestas.

Tras este primer paso, se han realizado los siguientes cambios, que se muestran en

la Tabla I.2:

-‐ Ordenar la tabla tomando como referencia los aciertos de cada persona, de

menos aciertos a más aciertos. Así, la persona 35 ocupará la primera fila, ya

que cuenta con 2 aciertos; y las personas 7 y 24 ocuparán las dos últimas

filas, con 11 aciertos.

-‐ Calcular la proporción de aciertos de cada ítem (sobre 34 personas, ya que

no se cuenta a la persona que hemos eliminado en el paso anterior).

-‐ Calcular la proporción de aciertos de cada persona (sobre 14 ítems, ya que

no se cuentan los eliminados en el paso anterior).

En adelante, nos referiremos al total de sujetos (34) con el valor N y al total de ítems (14) con el valor L:

39

ETIQUETA NÚMERO FÓRMULA Total de sujetos N 34 N = 34 Total de ítems L 14 L = 14

PASO 3. Estimación inicial de la dificultad de los ítems El siguiente paso es realizar una estimación inicial de la dificultad de los ítems de

la prueba. Para ello, se asigna un logit a cada ítem de la prueba. Se ha realizado una

distribución en 10 grupos según la puntuación de los ítems incorrectos, y se ha

calculado el significado y la varianza de la distribución de estos logits para los 14

ítems. Se muestra en la Tabla I.3.

Para cada grupo de ítems, el logit es el logaritmo natural de dicha proporción

incorrecta dividida entre la proporción correcta. Al igual que para cada grupo de

sujetos es el logaritmo natural de dicha proporción incorrecta dividida entre la

proporción correcta.

La proporción correcta de los ítems se calcula dividiendo el número total de

aciertos del ítem entre el total de sujetos y la proporción correcta de personas se

calcula dividiendo el número de ítems acertados entre el total de personas. La

proporción incorrecta se calcula restando 1 a la proporción correcta.

En la primera columna aparece una enumeración de los grupos, del 1 al 10. A

partir de ahora se le denominará i.

En la segunda columna se especifica qué ítem (de los 14) pertenece a cada uno de

los grupos de la columna anterior.

En la tercera columna se muestra la puntuación de cada ítem acertado. En

adelante: si.

En la cuarta columna se especifica el número de ítems en cada grupo, es decir, la

proporción de la puntuación. Por ejemplo, hay dos ítems en el grupo tres (ítem 6 y

40

7), es decir, que hay dos ítems en los que el número de respuestas acertadas ha

sido de 30. A este valor se le denominará fi.

En la quinta columna se muestra la proporción sobre 34 (total de sujetos) para

cada ítem acertado. Este valor ya aparecía en la tabla anterior. En adelante, pi. Se

calcula a partir de la siguiente fórmula:

pi = si / N

Donde N equivale al número de sujetos, en este caso 34.

En la sexta columna se muestra la proporción sobre 34 (total de sujetos) para cada

ítem no acertado. En adelante, qi. Se calcula a partir de la siguiente fórmula:

qi = 1 -‐ pi

En la séptima columna se muestra la conversión de esta proporción en logits

incorrectos. En adelante, xi. Se calcula de acuerdo a la siguiente fórmula:

xi = ln [qi / pi]

En la octava columna se muestra el resultado de multiplicar la frecuencia del ítem

por el logit incorrecto. Es decir:

fi · xi

En la novena columna se muestra el resultado de multiplicar la frecuencia del ítem

por el cuadrado del logit incorrecto. Es decir:

fi · xi2

41

En la décima y última columna se muestra el resultado de calcular el ajuste inicial

del ítem, en adelante d0i. Para ello, se ha seguido la siguiente fórmula:

d0i = xi – x.

Donde el valor de x. se calcula de acuerdo a la siguiente fórmula:

𝑥.= ∑𝑓! · 𝑥! ∑𝑓!

Es decir, se le ha restado al valor de la columna 7 (logits incorrectos) el valor 0,19.

Este valor es el resultado de calcular el sumatorio de la columna 8 (resultado de

multiplicar la frecuencia por el logit) entre el sumatorio de la columna 4

(frecuencia del ítem). Con “sumatorio” [símbolo ∑ ] nos referimos a la suma de

todos los valores de la columna indicada en cada caso.

PASO 4 – Obtención de la competencia inicial de cada persona En este paso se pretende obtener la habilidad inicial de cada persona. Se ha

seguido un orden similar al del paso anterior, con una distribución por grupos de

las puntuaciones ordenadas de las personas para obtener la distribución de los

logits de cada puntuación y los valores iniciales para la habilidad relacionada con

cada posible puntuación de la prueba. Se muestra en la Tabla I.4.

En la primera columna se muestra las puntuaciones (de menor a mayor) que un

sujeto puede obtener. Como se puede observar, sólo hay 13 filas, ya que, como se

ha indicado anteriormente, no se cuentan ni los sujetos que hayan respondido

erróneamente a todos los ítems (valor 0) ni correctamente (valor 14); de ahí que

sólo haya 13 filas, ordenadas del 1 al 13. A este valor se le denomina r.

En la segunda columna encontramos la frecuencia de cada sujeto. Se representa

mediante el valor nr. El sumatorio de este valor ha de ser 34, es decir, el número de

sujetos:

42

∑nr = 34

En la tercera columna se encuentra la proporción de cada puntuación en esta

prueba, a partir de ahora pr, gracias a la siguiente fórmula:

pr = r / L

En la cuarta columna encontramos los valores correspondientes a los logits

correctos, denominados yr. Para calcular estos valores, se ha seguido la siguiente

fórmula:

yr = ln [ pr / qr ] ; donde qr = 1 – pr

En la quinta columna encontramos el resultado de multiplicar la frecuencia por el

logit, es decir:

nr · yr

En la sexta columna encontramos el resultado del producto de la frecuencia por el

cuadrado del logit, es decir:

nr · yr2

En la séptima columna se muestra la medida inicial para cada sujeto. A partir de

ahora se le denominará b0r y equivale al valor yr, como muestra la fórmula:

b0r = yr

PASO 5 – Cálculo de los factores de expansión En este paso se calcula la estimación final de la dificultad de los ítems, como se ve

en la Tabla I.5. Para ello, es necesario calcular los factores de expansión, que son

valores que modifican la estimación de dificultad o competencia inicial que tiene

en cuenta la extensión de la prueba y del número de alumnos.

43

El valor U proviene de:

𝑈 = !"!!. !!! !!!

; U = 5,72

El valor V proviene de:

𝑉 =𝑛!!!!

! (𝑦! − 𝑦. )!

(𝑁 − 1) ; 𝑉 = 0,46

Donde y. equivale a:

𝑦.= !!!!!! !!!

; y. = -‐0,03

Y el valor X proviene de:

𝑋 =1+ 𝑈/2,891− 𝑈𝑉/8,35 ; 𝑋 = 2,09

Los valores 2,89 y 8,35 son valores constantes.

PASO 6 – Corrección de la calibración de los ítems En la Tabla I.5 encontramos:

En la primera columna se muestra el valor i. En la segunda columna se encuentran

los ítems, ordenados conforme al valor i. En la tercera columna se muestra el valor

d0i.

En la cuarta columna se detalla la muestra de la varianza del factor de expansión, a

partir de ahora Y, y equivale en este caso al valor 1,31. Se calcula conforme a la

siguiente fórmula:

44

𝑌 =1+ 𝑉

2,891− 𝑈 · 𝑉/8,35

En la quinta columna se muestra la calibración del ítem correcto, cuyos valores han

sido calculados a partir de la siguiente fórmula:

di = Y · d0i

En la sexta columna aparece la puntuación del ítem, denominada con el valor si.

En la séptima columna se muestra la calibración del error estándar de medida, a

partir de ahora SE (di). Se calcula mediante la siguiente fórmula:

𝑆𝐸 𝑑! = 𝑌 ·𝑁

𝑠!(𝑁 − 𝑠!)

PASO 7 –Corrección de la competencia de las personas En este paso se muestra cómo se obtiene la corrección de la medida final de las

personas y el error estándar. Se ejemplifica en la Tabla I.6.

En la primera columna se muestra el valor r.

En la segunda columna se muestra el valor b0r.

En la tercera columna se muestra el factor de expansión X.

En la cuarta columna se muestra la medida corregida, en adelante br. Se calcula

mediante la ecuación:

br = X · b0r

45

Y en la quinta columna el valor SE (br).

PASO 8 –Edición de la tabla de respuestas A partir del concepto de respuesta esperada, se vuelve a la Tabla I.2 del PASO 2,

donde además se incluye una fila con la dificultad del ítem (valor di procedente de

la quinta columna del PASO 6) y una columna con la habilidad de cada persona

(valor br procedente de la cuarta columna del PASO 7). Se muestra en la Tabla I.7.

PASO 9 – Selección de respuestas inesperadas En este paso, ejemplificado en la Tabla I.8, se seleccionan, sujeto por sujeto, las

respuestas inesperadas. Para ello se realiza una división de las columnas en “ítems

fáciles” (valores negativos de di) e “ítems difíciles” (valores positivos de di).

En el primer grupo, “ítems fáciles”, el valor 1 será el esperado y el valor 0 el

inesperado. De igual manera, en el segundo grupo, “ítems difíciles”, el valor 0 será

el esperado y el valor 1 el esperado.

Asimismo, se ha calculado el total de respuestas inesperadas para cada ítem y

también para cada sujeto. Además, se muestra la habilidad de cada persona (valor

br procedente de la cuarta columna del PASO 7-‐ Tabla I.6).

PASO 10 – Cálculo del valor de las respuestas inesperadas En este paso se calculan las diferencias entre competencia-‐habilidad para las

respuestas inesperadas. Se muestra en la Tabla I.9. Para ello, hay que centrarse

únicamente en aquellas celdas donde se ha encontrado una respuesta inesperada

(de acuerdo con el paso anterior).

Siguiendo con la división en dos grupos (“ítems fáciles” e “ítems difíciles”), para el

primer conjunto la ecuación a seguir es la siguiente (habilidad menos dificultad):

b – d

46

Y para el segundo grupo, la fórmula siguiente (dificultad menos habilidad):

d – b

PASO 11 – Cálculo del z2 En este paso se sustituye cada respuesta inesperada con su z2. El valor z2 se

obtiene sustituyendo los valores de la tabla anterior por su z2. Para ello, se ha

seguido la tabla de Wrigth y Stone (1979: 73), reproducida en la Tabla I.10.

PASO 12 – Ajuste final de la dificultad de los ítems y de la habilidad de cada sujeto Por último, se calcula el valor t para calcular el ajuste final de la dificultad del ítem

y de la habilidad de cada sujeto. La fórmula a partir de la cual se calcula este valor

es la siguiente:

-‐ Para los sujetos:

𝑡 = 𝐿𝑛 𝑣 + 𝑣 − 1 · 𝑓!/8 ; donde fn = N – 1 y donde 𝑣 = !!

!!

-‐ Para los ítems:

𝑡 = 𝐿𝑛 𝑣 + 𝑣 − 1 · 𝑓!/8 ; donde fl = L – 1 y donde 𝑣 = !!

!!

Si el valor t es superior a 1,771 significa que supera el valor límite y que hay que

eliminar los ítems y los sujetos cuya t es superior a este valor límite.

47

Tabla I.1: PASO 1: Organización de los datos

48

Tabla I.2: PASO 2: Edición de los datos

49

Tabla I.3: PASO 3: Obtención de la calibración inicial del ítem

Tabla I.4: PASO 4: Obtención de la competencia inicial de cada persona

1 2 3 4 5 6 7 POSIBLES

PUNTUACIONES FRECUENCIA PROPORCIÓN LOGIT

CORRECTO FRECUENCIA * LOGIT

FRECUENCIA * LOGIT2

COMPETENCIA INICIAL

1 0 0,07 -‐2,56 0,00 0,00 -‐2,56 2 1 0,14 -‐1,79 -‐1,79 3,21 -‐1,79 3 2 0,21 -‐1,30 -‐2,60 3,38 -‐1,30 4 2 0,29 -‐0,92 -‐1,83 1,68 -‐0,92 5 2 0,36 -‐0,59 -‐1,18 0,69 -‐0,59 6 3 0,43 -‐0,29 -‐0,86 0,25 -‐0,29 7 12 0,50 0,00 0,00 0,00 0,00 8 5 0,57 0,29 1,44 0,41 0,29 9 4 0,64 0,59 2,35 1,38 0,59 10 1 0,71 0,92 0,92 0,84 0,92 11 2 0,79 1,30 2,60 3,38 1,30 12 0 0,86 1,79 0,00 0,00 1,79 13 0 0,93 2,56 0,00 0,00 2,56

50

Tabla I.5: PASO 6: Corrección de la calibración de los ítems

1 2 3 4 5 6 7

GRUPO DE ÍTEMS ÍTEM CALIBRACIÓN INICIAL DEL ÍTEM FACTOR DE EXPANSIÓN CALIBRACIÓN DEL ÍTEM CORRECTO PUNTUACIÓN DEL ÍTEM ERROR ESTÁNDAR DE MEDIDA

1 4 -‐2,96 1,31 -‐3,86 32,00 0,95 2 5,7 -‐2,53 1,31 -‐3,30 31,00 0,79 3 6,9 -‐2,2 1,31 -‐2,87 30,00 0,70 4 8 -‐1,54 1,31 -‐2,01 27,00 0,55 5 10 -‐1,07 1,31 -‐1,40 24,00 0,49 6 11 0,42 1,31 0,55 12,00 0,47 7 13 1,16 1,31 1,51 7,00 0,55 8 12 1,35 1,31 1,76 6,00 0,59 9 14 2,15 1,21 2,61 3,00 0,73 10 15,16,17 3,31 1,31 4,32 1,00 1,33

Tabla I.6: PASO 7: Corrección de la competencia de las personas

1 2 3 4 5 POSIBLES

PUNTUACIONES LOGIT

CORRECTO FACTOR DE EXPANSIÓN

MEDIDA CORREGIDA EMM

1 -‐2,56 2,1 -‐5,38 2,18 2 -‐1,79 2,1 -‐3,76 1,60 3 -‐1,3 2,1 -‐2,73 1,37 4 -‐0,92 2,1 -‐1,93 1,24 5 -‐0,59 2,1 -‐1,24 1,17 6 -‐0,29 2,1 -‐0,61 1,13 7 0 2,1 0,00 1,12 8 0,29 2,1 0,61 1,13 9 0,59 2,1 1,24 1,17 10 0,92 2,1 1,93 1,24 11 1,3 2,1 2,73 1,37 12 1,79 2,1 3,76 1,60 13 2,56 2,1 5,38 2,18

51

Tabla I.7: PASO 8: Edición de la tabla de respuestas

52

Tabla I.8: PASO 9: Selección de respuestas inesperadas

53

Tabla I.9: PASO 10: Cálculo del valor de las respuestas inesperadas

54

Tabla I.10: PASO 11: Cálculo del z2

ÍTEM SUJETO 4 5 7 6 9 8 10 11 13 12 14 15 16 17 TOTAL

25 1 0 1 4 2 1 3 33 2 0 2 1 4 2 6 27 4 2 6 11 13 5 5 2 25 12 5 1 6 17 15 10 10 4 2 41 19 10 4 14 30 10 4 14 2 18 7 4 29 3 7 6 13 5 7 4 11 6 7 4 11 8 4 4 9 4 4 13 27 18 4 2 6 57 16 4 2 6 26 0 28 4 4 29 27 7 13 47 31 2 2 10 2 2 14 2 2 18 1 3 4 20 1 3 4 32 2 3 5 21 2 4 6 22 1 4 5 23 0 2 2 34 0 1 22 23 15 2 11 13 7 1 5 6 24 0 1 5 6

TOTAL 13 16 66 37 59 49 35 8 8 25 25 38 5 0

55

Tabla I.11: PASO 12: Ajuste final de la dificultad de los ítems y de la habilidad de cada sujeto

ÍTEM Σz^2 vn t 4 13 0,39 -‐3,12 5 16 0,48 -‐2,52 7 66 2,00 3,44 6 37 1,12 0,48 9 59 1,79 2,78 8 49 1,48 1,79

10 35 1,06 0,24 11 8 0,24 -‐4,42 13 8 0,24 -‐4,42 12 25 0,76 -‐1,06 14 25 0,76 -‐1,06 15 38 1,15 0,59 16 5 0,15 -‐5,56 17 0 0,00 #¡NUM!

56

Anexo II En este anexo se incluye:

1. El impreso con las preguntas de la prueba de comprensión de lectura

2. El impreso para las respuestas de la prueba de comprensión de lectura

1

IMPRESO CON LAS PREGUNTAS

Prueba de comprensión de lectura

TIEMPO: 40 minutos

INSTRUCCIONES PARA EL ALUMNADO

Escribe tu nombre en el Impreso para las Respuestas

Contesta todas las preguntas

Escribe tus respuestas con bolígrafo/lápiz en el Impreso para las Repuestas.

No tendrás más tiempo para hacer esto. Por tanto, debes terminar en 40 minutos.

Al final de la prueba, entrega el Impreso con las Preguntas y el Impreso para las

Respuestas.

INFORMACIÓN PARA EL ALUMNADO

Esta prueba tiene 9 partes.

Este Impreso con las Preguntas tiene 12 páginas impresas.

2

Parte 1

Tareas 1-6 Observa y lee. Elige las opciones correctas. Escribe una letra (A-H) para cada respuesta. No necesitas usar todas las letras

Una ballena (a) Café (b)

Hombro (c) Elefante (d)

Sopa (e) Estómago (f)

Leche (g) Murciélago (h) Ejemplo: Este animal puede volar y vive de noche. h Tareas:

1. Puedes tomarla en un cuenco. A veces es de verduras. 2. Es el animal más grande del mundo. Vive en el mar. 3. Es una parte de tu cuerpo. Todo lo que comes y bebes primero pasa por aquí. 4. Es un animal grande. Vive en países cálidos y come hojas y hierba. 5. Está entre tu cuello y tu brazo. 6. Las madres dan esta bebida blanca a sus bebés.

3

Parte 2 Tareas 7-12 Lee el texto y elige la mejor respuesta. Señala en la letra correcta. En el parque. Marta está hablando con su amigo Pedro.

Ejemplo: Marta: Hola Pedro. ¿Cómo estás? Pedro: A. No muy bien. þ B. Estoy con mi primo Juan. ☐ C. Estoy saliendo. ☐ Tareas:

7. Marta: ¿Qué te pasa? ¿Te duele la cabeza? Pedro: A. No, gracias. No quiero. ☐ B. No, me duelen las muelas. ☐ C. No, no lo he conseguido. ☐

8. Marta: ¿Te gustaría venir a mi casa?

Pedro: A. Sí, fui a casa rápidamente. ☐ B. No, gracias. Quiero irme a casa. ☐ C. Sí, mi casa me gusta mucho. ☐

9. Marta: ¿Tienes un abrigo?

Pedro: A. Sí, él lo hace. ☐ B. Sí, él está aquí. ☐ C. No, no tengo. ☐

10. Marta: ¿Quieres un poco de agua?

Pedro: A. Sí, por favor. ☐ B. Sí, lo es. ☐ C. Sí, yo tenía ☐

11. Marta: ¿Quieres que te acompañe a casa?

Pedro: A. Él puede andar por allí. ☐ B. Me gustaría, gracias. ☐ C. Puedo ir con ella esta tarde. ☐

12. Marta: ¿Está tu madre en casa?

Pedro: A. Es su casa nueva. ☐ B. Cerca de la estación de autobuses. ☐ C. Sólo está mi padre hoy. ☐

4

Parte 3 Tareas 13-16 Observa y lee. Contesta SÍ o NO.

Ejemplos: Una puerta está abierta. Sí El perro está junto a la mujer que está escuchando música. No

Tareas:

13. El reloj redondo marca las nueve y cuarto. __

14. La mujer que está hablando por teléfono además sostiene un periódico. __

15. La mujer con un bebé tiene un abanico. __

16. Un chico está poniendo una botella vacía en la papelera. __

5

Parte 4

Tareas 17-21

Cristina está hablando con una amiga.

Lee la conversación y elige la mejor respuesta.

Escribe una letra (A-H) para cada respuesta.

No necesitas usar todas las letras.

Ejemplo:

Cristina: La señorita Marta va a dejar el instituto la semana que viene, ¿no es así?

Isabel: B

Tareas:

17. Cristina: ¡Vamos a comprarle un regalo!

Isabel:

18. Cristina: ¿Qué podríamos comprarle?

Isabel:

19. Cristina: Ya está, ¿por qué no probamos en esa tienda nueva del centro?

Isabel:

20. Cristina: ¿Está en la calle Tetuán? Está muy lejos.

Isabel:

21. Cristina: De acuerdo, vamos para allá ahora. ¿Tienes dinero?

Isabel:

A. Sí, lo hizo.

B. Sí, es verdad.

C. ¡Ah! Sí, la que está cerca del hospital.

D. Vale, le gustará.

E. No sé. Es difícil elegir.

F. No, necesito ir a casa y coger un poco.

G. Sí, tendremos que ir en autobús.

H. Ella tuvo uno el año pasado.

6

Parte 5

Tareas 22-24

Vas a leer un texto y después te vamos a hacer tres preguntas sobre él. Elige la respuesta correcta y márcala.

RUTA QUETZAL La Ruta Quetzal es un programa para jóvenes creado en 1979, por sugerencia del rey de España, y encabezado por el famoso aventurero español Miguel de la Quadra-Salcedo. Se trata de un viaje de estudios integrado por 330 jóvenes de entre 16 y 17 años de más de 65 países de todo el mundo. Durante un mes y medio los jóvenes participantes recorren distintos lugares de España y Latinoamérica estudiando diferentes aspectos de su maravillosa historia y cultura. La selección de los participantes se realiza cada año a través de un riguroso proceso, eligiendo a los mejores estudiantes de cada país. Durante la aventura, las clases de historia, arte, astronomía, biología o música se intercalan con caminatas, visitas a lugares históricos, talleres prácticos, conferencias, seminarios y deportes, siendo obligatoria la asistencia a todas las actividades. Cada participante forma parte de un grupo de 18 jóvenes, bajo la dirección de un monitor y todos están encargados del orden, vigilancia y limpieza de las zonas comunes de los campamentos, residencias o refugios donde se suelen alojar aunque en ocasiones duermen al aire libre. Todos los gastos de manutención, transporte, alojamiento y los generados por las actividades previstas están cubiertos en la beca. No obstante, cada estudiante puede llevar dinero de bolsillo para gastos menores pero no se aconseja el uso de tarjetas de crédito o cheques de viaje. En la actualidad, esta famosa ruta es un programa perteneciente a la Secretaría General Iberoamericana y está declarada de interés internacional por la UNESCO.

(Adaptado de www.correodelcaroni.com. Venezuela)

Tareas:

22. Según el texto, la ruta Quetzal es un viaje para…

a. recorrer todo el mundo

b. conocer la cultura hispana

c. practicar deporte al aire libre

23. Según el texto, los participantes en el viaje…

a. pueden seleccionar las actividades

b. son responsables de la limpieza del alojamiento

c. duermen siempre en tiendas de campaña

24. A los estudiantes se les recomienda que durante el viaje no…

a. paguen todos los gastos

b. lleven dinero en efectivo

c. utilicen tarjetas de crédito

7

Parte 6 Tareas 25-30 Ahora vas a leer siete textos cortos y te vamos a hacer una pregunta sobre cada uno de ellos. Elige la respuesta correcta y márcala. Texto A

X Certamen literario Pablo Neruda BASES DEL CONCURSO: • Temática: “La defensa del planeta”. • Los trabajos serán originales e inéditos. • Los originales se realizarán en ordenador y tendrán una extensión mínima de seis folios. • Los trabajos se enviarán antes del 20 de junio al siguiente correo electrónico: [email protected].

25. Los trabajos presentados en este concurso deben tener 6 o más páginas.

a. Verdadero b. Falso

Texto B

CURSO DE VERANO EN MANAGUA Departamento de idiomas Estancia de tres semanas en Managua. (29 junio-20 julio) Plazas limitadas. Profesorado nativo. 15 horas semanales de clases de español Estancia en familias. Para más información consulte nuestra página web: www.idiomas.giocobelli.com

26. La lengua materna de los profesores de este curso es el español.


Texto C Mamá: Acuérdate de comprarme el cuaderno para clase. Lo necesito para hoy. Si no puedes comprarlo al mediodía, llámame. ¡Besos! Ana

27. Según la nota, Ana comprará el cuaderno hoy.


8

Texto D

28. Según este anuncio, las plazas de garaje son… a. grandes b. usadas c. exteriores

Texto E

29. Según el anuncio, la entrada del cine es más barata si la compras por Internet. a. Verdadero b. Falso

Texto G

30. El martes todos los alumnos tienen que hacer un…

a. examen b. trabajo c. experimento

9

Parte 7 Tareas 31-37 Vas a leer un artículo sobre algunos animales que aparecieron en un documental de televisión. Se han eliminado siete frases del artículo. Elige la frase (a-h) que mejor se adapte a cada espacio (31-37). Hay una frase adicional que no es necesario utilizar.

Estrellas televisivas del desierto Los suricatos del desierto del Kalahari, en Sudáfrica, son famosos y Ann y Steve Toon fueron a buscarlos. Los suricatos son animales que miden unos 30 cm de altura y viven en grupos de 20 a 30. Los que estábamos buscando fueron filmados durante un periodo de cuatro años y protagonizaron una serie documental de televisión. Queríamos verlos en la realidad. Así que son las 5.30 de la mañana y estamos en medio de la nada, esperando que el sol disipe los restos de nubes de la tormenta de ayer. En las proximidades, un cuervo grande deja oír su ensordecedor toque de diana. 31 ___ .Y mientras apartamos la vista de la pelota, un suricato hace su aparición. Saca la cabeza fuera de la madriguera donde ha pasado la noche. 32 ___ . Aparentemente satisfecho, está de pie. Es seguido por una hembra y, a continuación, unos cuantos adultos. Llegamos con grandes esperanzas en medio de un calor extremo ayer por la tarde, pero pronto se convirtieron en decepción. 33 ___ . Hoy, sin embargo, por fin, estamos a unos metros de algunas de las criaturas más carismáticas del mundo salvaje. Aquí están los salvajes de una serie de televisión ganadora de premios. Vemos entusiasmados que los suricatos adultos son rápidamente seguidos fuera de la madriguera por cuatro crías de cinco semanas de edad. Es la temporada de reproducción del verano, así que esperas ver jóvenes. 34 ___ . Increíblemente cómicos y lindos, cada uno de los jóvenes es una versión perfecta y más pequeña de sus padres. “Mmm, eh, mmm”, tarareamos los dos en voz baja y varias veces a medida que nos acercamos a las crías con los objetivos de gran angular. Ésta es la llamada especial que nos enseñó a utilizar el ayudante voluntario de la expedición que rastreó el grupo para nosotros. Les asegura que nuestra presencia no es una amenaza. 35 ___ . Cada suricato sigue vigilando el entorno, no para de cruzarse en el camino de los otros, como hacen cualquier mañana. Los animales que aquí viven han sido estudiados durante muchos años dentro de un estudio de investigación prolongado más amplio conocido como el Proyecto Suricatos del Kalahari. 36 ___ . Los suricatos son los candidatos ideales para ser estudiados por los investigadores porque son activos durante el día y viven en un terreno bastante abierto en el Kalahari. Los animales se han acostumbrado a tener seres humanos a su alrededor y su comportamiento no ha cambiado con los investigadores al lado. 37 ___ . Esta falta de atención a los humanos se extiende más allá de los investigadores e incluye personas como nosotros y el equipo de televisión. Lamentablemente, nuestro tiempo con estas criaturas encantadoras ha terminado, pero mañana, y pasado mañana, el proyecto seguirá como antes. Continuarán siendo pesados, observados y serán el centro de preocupaciones. Y en la televisión, los suricatos más famosos del mundo simplemente continuarán viviendo sus fascinantes vidas únicas como si nada fuera de los común estuviera ocurriendo a su alrededor...

a. Al principio nos sentimos avergonzados, y muy conscientes de que éramos observados, pero parece que funciona ya que los animales están calmados y uno puede acercarse a ellos.

b. Nos damos cuenta de que nos ha visto y nos examina antes de salir del todo. c. Esto se debe a que son más activos por la mañana temprano y a últimas horas de la tarde. d. Sin él, no habría sido posible hacer los programas de televisión que nos habían traído hasta aquí. e. Por lo tanto, es importante para la recogida de información, pasar cada día horas en el campo sin afectar

a la rutina de los animales. f. Esto nos hace dar un salto y distrae nuestra atención de por qué estamos aquí. g. Cuando planeamos nuestra visita teníamos esta posibilidad en la cabeza, pero aún así no podíamos creer

nuestra suerte. h. Esto se debió a una serie de interminables y ensordecedoras tormentas eléctricas en el Kalahari que

causaron que nuestros sujetos no aparecieran.

10

Parte 8 Tareas 38-43 Lee el texto y responde a las tareas (38-43) con la opción correcta (a, b o c)

¿HACIA LA DEMOCRACIA ELECTRÓNICA? Habitualmente participamos en procesos electorales para determinar nuestro gobierno depositando nuestro voto, un trozo de papel, en una urna. Sin embargo, todas las semanas tenemos oportunidad de participar en votaciones por sms o internet en variados programas de televisión. No es extraño, por lo tanto, que, en línea con la progresiva transformación tecnológica de nuestra sociedad, hayan surgido recientemente noticias sobre diversos aspectos de la aplicación de las tecnologías de la información a la política, principalmente en lo que se refiere a la automatización de los procesos de voto. Estamos en tiempo de debate. Un debate que busca promover las nuevas tecnologías en nuestra vida política, como previamente se ha hecho en los negocios, la educación o las artes. Un debate que podría llevar a que la política, tal y como hoy se la conoce, cambie en este siglo XXI, que será esencialmente móvil y electrónico. Al fin y al cabo, recordemos que nuestras actuales instituciones provienen de los tiempos en que el transporte y las comunicaciones eran extremadamente costosos en tiempo y dinero. con los años, los políticos han desarrollado un estilo en el que, salvo en tiempos de campaña, mantienen escasa relación con los ciudadanos. En cierto sentido, nuestras instituciones están desfasadas, puesto que no se han beneficiado de las nuevas tecnologías en un sentido social. Internet ofrece claras oportunidades para aproximar a gobernantes y gobernados, y para crear y difundir conocimientos entre los ciudadanos. Esta visión puede llevarse al extremo, como han hecho los “tecnoutópicos”, que ven en internet un medio para propagar globalmente los ideales del ágora ateniense por medio de la discusión y la votación electrónica. Cualquier decisión podría votarse y podríamos vivir en un sistema de referéndum permanente. Frente a este futuro, en el que cada mañana, antes de trabajar, nos conectaríamos a internet y votaríamos en los tres o cuatro referéndums del día, debemos recordar cómo la economía y la psicología experimentales muestran insistentemente que las personas no somos racionales al tomar decisiones cuando solo usamos nuestra intuición y que no tendríamos tiempo para vivir en ese proceso de referéndum permanente: no solo se trata de votar, sino de informarse, deliberar y decidir. En nuestra opinión, y aunque las tecnologías que automatizan e informan son importantes y útiles, son de menos interés que aquellas con un potencial para transformar la naturaleza de la democracia. En cualquier caso, son numerosos los beneficios potenciales de la naciente democracia electrónica, como por ejemplo, la legitimación que se produce al acercar las decisiones a la gente y tomarse públicamente las decisiones políticas, al reducirse la apatía y la alienación y maximizarse el potencial del ciudadano. Sin embargo, también se pueden identificar algunos peligros, como el debilitamiento de la autoridad central. Otra cuestión que suscita gran debate es la de la seguridad. Como cualquier operación a gran escala, el potencial para la corrupción en una consulta en línea es considerable. ¿Cómo se verifica la identidad en una operación electrónica? Si en algunos países la participación en elecciones generales queda muchas veces por debajo del 60%, ¿cómo aseguramos que el 40% restante de los votantes no ve su voto manipulado por algún tecnólogo experto? En gran medida, tales problemas se evitarían con certificados digitales y criptografía de clave pública, pero estos sistemas aún tienen un coste elevado. Incluso si fuese posible evitar la suplantación a gran escala, sería casi imposible asegurar que un votante en línea fuese quien dice ser, a menos que se recurriese a tecnologías de reconocimiento muy caras, basadas en huellas digitales o en el iris. Pero la principal garantía en una democracia electrónica debería ser el acceso generalizado a las tecnologías de la información, algo que realmente permanece como un obstáculo, puesto que la penetración de internet en los hogares de la mayoría de los países avanzados dista de ser universal. En los últimos años se ha venido acuñando el término “brecha digital” para definir tal situación, y esta brecha conlleva otro peligro: que las nuevas tecnologías puedan afectar negativamente, aún más, a los más vulnerables.

(adaptado de Madridmsad.org/cienciaysociedad/debates.actualidad)

11

38. Según el autor del texto, el uso de las nuevas tecnologías en política…

a. está acabando con el uso de las urnas.

b. se encuentra en un estado incipiente.

c. debe seguir el ejemplo de la televisión

39. El autor del texto es partidario de utilizar las tecnologías para…

a. mejorar la formación de políticos.

b. aumentar la comunicación entre las distintas instituciones del Estado.

c. incrementar el contacto de los políticos con los ciudadanos.

40. En el texto se defiende que el ciudadano…

a. reflexiones y valore opciones antes de proceder al voto.

b. utilice Internet para discutir su voto con otros ciudadanos.

c. vote cotidianamente toda clase de decisiones.

41. Según el texto, el uso de la tecnología en política puede conllevar…

a. una mayor participación en las votaciones.

b. un descenso de los abusos de poder.

c. un carácter más justo de las decisiones públicas.

42. Para el autor del texto, la solución a la falta de seguridad en Internet…

a. exigiría una gran inversión económica.

b. no es todavía posible debido a la corrupción.

c. se encuentra en sistemas de reconocimiento de la manipulación.

43. En el texto, el término “brecha digital” alude a…

a. la diferencia de uso de Internet en cada país.

b. la diferencia de uso de Internet dentro de los países desarrollados.

c. la falta de información de los potenciales usuarios de Internet.

12

Parte 9 Tareas 44.52 A continuación encontrarás una entrevista realizada a Antonio Gamoneda, poeta español. En el cuadro A encontrarás (ordenadas) las intervenciones del entrevistador (44-52), y en el cuadro B, las respuestas (desordenadas) que dio el entrevistado (a-j). Relaciona cada pregunta del cuadro A con su respuesta del cuadro B.

Ejemplo: A la pregunta 0 del cuadro A, le corresponde la letra i del cuadro B.

Cuadro A: 0 ¿Cómo va su libro de memorias? 44 ¿Recuerda en qué momento decidió ser escritor? 45 Un poema de Cristina Peri Rossi dice: “Escribo porque olvido / y alguien lee porque no evoca de manera

suficiente”. ¿Comulga usted con esta afirmación? 46 ¿Dónde empieza y termina la poesía? 47 ¿Qué piensa de que los críticos le pongan etiquetas a su poesía? 48 Ahora le llegan los reconocimientos. ¿Le compensan por años de trabajo callado y alejado de las cortes

literarias? 49 A Kafka le marcó profundamente la figura de su padre, ¿a usted le ocurrió igual con su madre? 50 Usted ha conocido personalmente a los mejores poetas españoles contemporáneos. ¿Siente predilección por

alguno? 51 En el periodismo, el título es un 80% de la noticia. A usted, que es un gran titulador, ¿no le tentó el

periodismo? 52 ¿Le hace gracia que haya lectores que le descubrieran a partir de recibir el premio Cervantes? Cuadro B: a Sí, lo conozco; eso se corresponde con una etapa avanzada; una etapa que ha entrado en la madurez. Los

recuerdos están dentro del olvido. Ella tiene razón. b Me producen fatiga y aburrimiento los cenáculos literarios metropolitanos. Quiero estar en mi pequeña

ciudad y que salga lo que salga. Yo los agradezco, pero el asunto serio está en la pasión de la hoja en blanco; lo otro viene o no, pero yo no me impaciento, ni lo pretendí ni lo busqué.

c Me parece normal. La difusión de la poesía es, en la mayoría de las circunstancias, minoritaria. Viene un acontecimiento que sobrepasa esa circunstancia minoritaria, porque sales en la tele, sales con el Rey; eso es un mecanismo mediático, modifica las cosas.

d Sí. Hay seres condicionantes que se proyectan sobre la sensibilidad de las criaturas, que además tienen la potencia que les proporciona la consanguineidad. Son decisivos a la hora de configurar al pequeño ser humano para bien o para mal.

e Perfectamente. Aunque una cosa es que decidiera serlo y otra, que actuase como tal. Pero hay un hecho claro: el conocimiento de los signos de escritura y de un lenguaje y un pensamiento poético se me proporcionó a los 5 años. Aquello me magnetizó

f Por el más disparatado de todos ellos, que era Blas de Otero. Incluso tuvimos un mes de estar juntos. Yo tenía 19 y él era ya un poeta de treinta y pico.

g Me traen sin cuidado, tanto los juicios favorables como los desfavorables. Si son serios, los tengo en más consideración. Poesía del silencio, poesía de del lenguaje, que digan lo que quieran.

h Durante algunos años hice algo asimilable a lo que fue la profesión de mi padre porque me ocupé de la crítica de arte en un rotativo. Pero después decidí dejar de hacerlo porque llegué a convencerme de que esto era una manera de compresión incompleta e insuficiente.

i Pues le diré que empieza con lo que son recuerdos propios y llega hasta el día en que cumplo los 14 años. Hay también recuerdos heredados, picias de la vida familiar. Y ahora estoy escribiendo un borrador de mis memorias hasta el 30 de mayo de 1945.

j Forma parte de la literatura, pero de manera secundaria. Es, antes que nada, una emanación de la vida. Existe una literatura que es para proporcionar esparcimiento, placer fundamentado en la ficción. Pero la poesía, por naturaleza, es mucho más que la ficción.

1

IMPRESO PARA LAS RESPUESTAS

Prueba de comprensión de lectura APELLIDOS ___________________________________________________ NOMBRE ______________________________________________________ CURSO _________________________________ EDAD _________________________________ FECHA _________________________________ AÑOS DE RESIDENCIA EN ESPAÑA_________________ TIEMPO 40 minutos. INSTRUCCIONES PARA EL ALUMNADO Escribe tu nombre en el Impreso. Contesta todas las preguntas. Escribe tus respuestas con bolígrafo/ lápiz. No tendrás más tiempo para hacer esto. Por tanto, debes terminar en 40 minutos. Al final de la prueba, entrega el Impreso. INFORMACIÓN PARA EL ALUMNADO Esta prueba tiene 9 partes. Este Impreso para las respuestas tiene 3 páginas impresas.

2

Parte 1 Tareas 1-6. Indica la letra (A-H) correcta.

1. ___ 2. ___ 3. ___ 4. ___ 5. ___ 6. ___

Parte 2 Tareas 7-12. Indica la opción (a, b, o c) correcta.

7. ___ 8. ___ 9. ___ 10. ___ 11. ___ 12. ___

Parte 3 Tareas 13-16. Contesta SÍ o NO.

13. ___ 14. ___ 15. ___ 16. ___

Parte 4 Tareas 17-21. Indica la letra (A-H) correcta.

17. ___ 18. ___ 19. ___ 20. ___ 21. ___


22. ___ 23. ___ 24. ___


25. ___ 26. ___ 27. ___ 28. ___ 29. ___ 30. ___

3

Parte 7 Tareas 31-37. Indica la opción (a-h) correcta.

31. ___ 32. ___ 33. ___ 34. ___ 35. ___ 36. ___ 37. ___


38. ___ 39. ___ 40. ___ 41. ___ 42. ___ 43. ___

Parte 9 Tareas 44-52. Indica la opción (a-j) correcta.

44. ___ 45. ___ 46. ___ 47. ___ 48. ___ 49. ___ 50. ___ 51. ___ 52. ___

72

Anexo III – Tabla perteneciente al epígrafe 4.4. Independencia Local

1 2 4 6 7 9 10 12 13 14 16 17 18 19 23 24 26 27 28 30 32 35 1 1,00 2 -‐ 1,00 4 -‐0,11 -‐ 1,00 6 -‐0,68 -‐ 0,08 1,00 7 -‐0,11 -‐ -‐0,08 0,08 1,00 9 0,21* -‐ 0,15 -‐0,15 -‐0,53 1,00 10 0,21* -‐ 0,15 -‐0,15 -‐0,53 1* 1,00 12 -‐0,19 -‐ 0,18 -‐0,18 -‐0,44 0,83* 0,83* 1,00 13 -‐0,11 -‐ 1* 0,08 -‐0,08 0,15 0,15 0,18 1,00 14 -‐0,58 -‐ -‐0,39 0,39* 0,11 0,11 0,11 0,32* -‐0,39 1,00 16 -‐0,28 -‐ -‐0,53 0,53* 0,15 0,15 0,15 0,06 -‐0,53 0,42* 1,00 17 -‐0,28 -‐ -‐0,46 0,46* 0,08 0,19 0,19 0,13 -‐0,46 0,64* 0,53* 1,00 18 -‐0,19 -‐ -‐0,44 0,44* -‐0,44 0,44* 0,44* 0,3* -‐0,44 0,61* 0,44* 0,75 1,00 19 -‐0,17 -‐ -‐0,32 0,32* 0,09 0,09 0,09 0,03 -‐0,32 0,45* 0,35* 0,32* 0,50* 1,00 23 -‐0,64 -‐ 0,03 0,43* 0,03 -‐0,06 -‐0,06 0,19 0,03 0,17 0,23* 0,2* 0,19 0,14 1,00 24 -‐0,38 -‐ 0,00 0,00 0,00 0,00 0,00 0,30* 0,00 0,24* 0,00 -‐0,26 0,00 0,40* 0,45* 1,00 26 -‐0,38 -‐ 0,00 0,00 0,00 0,33* 0,33* 0,59* 0,00 0,24* 0,33* 0,00 0,00 0,20* 0,45* 0,5* 1,00 27 0,00 -‐ 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 -‐0,32 -‐0,35 -‐0,35 1,00 28 0,00 -‐ 0,00 0,00 0,00 0,00 0,00 0,00 0,00 -‐0,24 0,00 0,00 0,00 0,20* 0,23* 0,00 -‐0,25 0,35* 1,00 30 0,11 -‐ 0,08 -‐0,08 0,08 -‐0,15 -‐0,15 -‐0,18 0,08 -‐0,11 -‐0,15 -‐0,08 -‐0,18 -‐0,09 -‐0,50 -‐0,52 -‐0,52 0,73* 0,52* 1,00 32 -‐0,11 -‐ -‐0,08 0,08 -‐0,08 0,15 0,15 0,18 -‐0,08 0,11 0,15 0,08 0,18 0,5* 0,03 0,00 0,52* 0,00 0,00 0,08 1,00 35 -‐0,17 -‐ -‐0,11 0,11 -‐0,11 0,21 0,21 0,26* -‐0,11 0,16 0,21 0,11 0,26 0,43* 0,39* 0,00 0,38* 0,00 0,38* 0,11 0,68* 1,00

ensayo!de!una!prueba!de!comprensiónde! …a51ceb2b-c31f-47c5-b5ca-74f60346daa3/2… · la...

Documents