pruebas de gramaticalidad- instrumentos fiables?

LAS PRUEBAS DE GRAMATICALIDAD: INSTRUMENTOS FIABLES ENLA RECOGIDA DE DATOS EN EL ESPAOL COMO L2? *

PEDRO GUIJARRO-FUENTES Y JOHN CLIBBENSThe University of Plymouth (UK)

RESUMEN. El estudio tiene el doble cometido de analizar cmo hablantes nonativos de una segunda lengua adquieren las propiedades asociadas con el movimien-to del verbo y de analizar los instrumentos metodolgicos utilizados para la obtencinde los datos. Para su estudio analizaremos dos tipos de pruebas: juicios de gramati-calidad y una prueba de oraciones deshidratadas. Los datos de ambas pruebas pro-vienen de hablantes no-nativos del espaol de dos niveles diferentes (o sea,principiantes absolutos e intermedios). Podemos anticipar ya que el anlisis de las dospruebas utilizadas (o sea, prueba de gramaticalidad y prueba de oraciones deshidra-tadas) corroboran nuestras hiptesis iniciales que partan del presupuesto de que losestudiantes no adquieren de forma conjunta las propiedades que forman parte delparmetro del movimiento del verbo, pero cabe la posibilidad de que los resultadosobtenidos se deban a la naturaleza de las pruebas usadas, ya que con tales pruebas esdifcil controlar no slo estos aspectos sintcticos, sino tambin otros problemas prag-mticos que podran estar interrelacionados, lo que pone en duda la fiabilidad de estaspruebas en relacin al conocimiento lingstico de dichos aspectos.

PALABRAS CLAVE: Competencia lingstica, parmetro del movimiento del verbo, aprendices, prueba de juicios gra-maticales, prueba de oraciones deshidratadas.

ABSTRACT. The purpose of the present study is twofold: on the one hand, we seekto find out how non-native speakers of an L2 acquire the features associated with theverb movement parameter and, on the other, we evaluate the methodological tools usedin gathering L2 data. In particular, we focus on two different tasks: a GrammaticalityJudgement Task and a Dehydrated Sentence Task. The data from both tasks comes fromSpanish non-native speakers at two different proficiency levels (i.e. beginners andintermediate). We claim that our initial predictions are borne out, that is to say, thatlearners of L2 Spanish do not seem to acquire the different features associated to theverb movement parameter as a cluster. However, we cannot overlook the fact that theresults gathered from both tasks are due to the nature of them, since in employing suchtasks it is difficult to control the syntactical as well as other pragmatic features that maybe involved. Such insights cast doubts about the reliability of such tasks in assessing thelinguistic knowledge of the verb movement parameter in an L2 context.

KEYWORDS: Linguistic competence, verb movement parameter, learners, grammaticality judgement task, dehydratedsentence task.

53

RESLA, 15 (2002), 53-71

1. INTRODUCCIN

En el campo de la adquisicin de segundas lenguas, actualmente se est discutien-do (Liceras 1993; Cowan y Hatasa 1994; Gass 1994; Mandell 1999, por nombrar unospocos) la validez de las distintas pruebas utilizadas con la intencin de analizar la com-petencia lingstica de hablantes no-nativos de una lengua cualquiera.

El presente artculo informa de los resultados de un estudio que compara los datostransversales de una prueba de juicios gramaticales y otra de oraciones deshidratadassobre la adquisicin del parmetro del movimiento del verbo en espaol. Tal parmetroda cuenta de tres propiedades sintcticas que se derivan del hecho de que en espaol sepermite [+elevamiento]: o sea, es posible la inversin subjeto-verbo con las partculasinterrogativas delante, la inversin sujeto-verbo en las preguntas con respuesta s/no yfinalmente la posicin de los adverbios entre el verbo y sus complementos.

El artculo se divide de la siguiente forma. En la primera parte, se revisa los estu-dios realizados sobre la validez de los distintos instrumentos metodolgicos; en lasegunda, se da cuenta de nuestro estudio (o sea, propiedades sintcticas, participantes,pruebas utilizadas, resultados y anlisis estadstico), y por ltimo, en la tercera parte,se presentan las conclusiones generales y las posibles implicaciones para estudios pos-teriores.

Cabe mencionar que un gran nmero de especialistas han analizado el papel quepueden desempear los distintos mtodos a la hora de la recogida de los datos y lainterpretacin de los mismos en el marco de la Gramtica Universal, y ms concreta-mente en el contexto de la fijacin o refijacin de sus principios o parmetros, comomuestra la interlengua de los estudiantes de una L2. Dos aspectos que hay que teneren cuenta antes de continuar son: por una parte, nos centramos en las pruebas de gra-maticalidad, y no en los juicios de aceptabilidad (trminos que a veces se usan deforma intercambiable)1; y por otra, dado que el espacio no permite una revisinexhaustiva de todos los estudios, trataremos de recapitular los aspectos ms sobresa-lientes de los mismos en la siguiente seccin.

1.1. Estudios previos

La mayora de los estudios realizados que tratan de cuestiones metodolgicas secentran en dos cuestiones bsicas: por una parte, ver si las pruebas de juicios de grama-ticalidad efectivamente son pruebas fiables para el anlisis de la competencia no-nativa,en el ms estricto sentido chomskiano de la palabra. Por otra, ver si las pruebas de gra-maticalidad en la L2 (o segunda lengua) son o se pueden comparar a aquellas realizadasen la L1 (o primera lengua) (Ellis 1991).

Los diferentes mtodos lingsticos que los investigadores han empleado para larecogida de los datos (por ejemplo, pruebas de traduccin, juicios de gramaticalidad,juicios de eleccin mltiple, pruebas de produccin oral o escrita, pruebas de repeti-cin en voz alta, etc.), pensando que la prueba o pruebas podran ajustarse o reflejar la

PEDRO GUIJARRO - FUENTES Y JOHN CLIBBENS

54

base terica del estudio han sido motivo de anlisis. Por mencionar tan slo unospocos, en previos estudios realizados en el campo de la adquisicin de segundas len-guas se ha tratado de analizar el comportamiento de los hablantes no-nativos del inglssobre los reflexivos con la ayuda de una tarea que consista en la identificacin de unafrase con un dibujo o a travs de una tarea de eleccin mltiple. Pero aunque, con estetipo de pruebas se puede llegar a conocer, por ejemplo, las interpretaciones preferidasde los hablantes de una L2 o el uso de ciertas estrategias no-gramaticales a la hora derealizar las pruebas, es bastante dudoso que los resultados de las mismas reflejen lacompetencia gramatical de los estudiantes (Lakshmanan y Teranishi 1994). Otro ejem-plo sera el uso de las pruebas de imitacin en las que los participantes tienen que repe-tir verbalmente la oracin estmulo. Estos tipos de tests pueden verse afectados porotra serie de factores externos: capacidad de memorizacin, cansancio, longitud de laoracin-estmulo, etctera.

En este estudio nos centraremos nica y exclusivamente en el estudio y revisin deaquellas pruebas que se componen de juicios de gramaticalidad.

Ellis (1991) trata de atajar la cuestin de los juicios de gramaticalidad centrndo-se en el estudio de la alternancia del dativo por parte de hablantes no-nativos del ingls,en este caso chinos (21 en total). Para ello, primeramente todos los participantes reali-zaron una prueba de juicios de gramaticalidad. Un subgrupo de los mismos compuestode 8 en total realiz otra prueba que consisti en pensar en alto sobre un subgrupo de lasoraciones del primer test una semana ms tarde. El anlisis de las dos pruebas - juiciosgramaticales y pensar en alto- permiti a Ellis llegar a la conclusin de que entre losmismos estudiantes haba claras muestras de inconsistencia (o sea, 22.5% de sus juicios)a la hora de valorar la alternancia del dativo en ingls; por lo que, se necesitan ms estu-dios que puedan establecer si las pruebas de juicios de gramaticalidad son, o no son,pruebas vlidas que midan la competencia sintctica en una L2. Los resultados de lasegunda prueba demuestran que los hablantes no-nativos recurren a una serie de estrate-gias a la hora de emitir sus juicios (Ellis 1991).

En otro estudio ms reciente, Davies y Kaplan (1998) tambin tratan de diluci-dar si las pruebas de juicios gramaticales en la L2 son iguales o diferentes a las prue-bas de la L1, partiendo de la base de que los hablantes de una L2 pueden hacer uso dedistintos mecanismos a la hora de realizar las pruebas en comparacin a los de loshablantes nativos. En su caso utilizaron dos instrumentos distintos para recoger losdatos de hablantes no-nativos de francs de nivel avanzado (37 ingleses), que a su vezfueron divididos en dos grupos. Ambos grupos realizaron las pruebas de gramaticali-dad en francs y en su lengua materna. Con una parte de los participantes del estudio,cada uno de ellos realiz una prueba de gramaticalidad compuesta de 12 oraciones ensu lengua meta bien en ingls o en francs. Dichas oraciones estaban relacionadas conla extraccin, subordinacin o los recprocos. El segundo grupo de participantes reali-z el mismo test, pero esta vez adems tenan que grabar sus repuestas en voz alta enun cassette. De esta forma no slo medan la competencia de los hablantes no-nativos,sino que tambin indagaban en las razones por las que haban elegido una respuesta y

LAS PRUEBAS DE GRAMATICALIDAD

55

no otra; respuestas, que a su vez, fueron clasificadas teniendo en cuenta las distintasestrategias seguidas. La comparacin de los resultados de las pruebas en la L1 y en laL2 permitieron a Davies y Kaplan concluir que los hablantes no-nativos de una lenguacualquiera confan en un gran nmero de diferentes estrategias a la hora de llevar acabo los tests de gramaticalidad.

Por su parte, Johnson et al. (1996) examinaron la actuacin por parte de hablantesnativos y no-nativos del ingls (en este caso, 10 chinos y 10 hablantes de lengua ingle-sa) croslingsticamente sobre las pruebas de gramaticalidad (276 oraciones -140 gra-maticales y 136 agramaticales- que se centraban en aspectos sintcticos y morfolgicosdel ingls) con el fin de contestar a la pregunta de si los estudiantes adultos de una L2son tan consistentes en sus juicios emitidos como los hablantes nativos. Johnson et al.compararon los datos de hablantes nativos y no-nativos sobre los mismos items de unmismo test que se llev a cabo en dos sesiones distintas con un intervalo de 3 semanas.Los resultados revelaron que, mientras que las respuestas de los hablantes nativos eranconsistentes, las respuestas de los no-nativos mostraban cierto grado de inconsistencia.Estos resultados permitieron a los investigadores concluir que la gramtica de los adul-tos de una L2 no est totalmente determinada; de ah que tengan que recurrir a ciertasestrategias a la hora de llevar a cabo las pruebas. Eso explica que hubiera una gran dis-crepancia entre los hablantes nativos y no-nativos en trminos de niveles de adquisicin,y tambin en la naturaleza del conocimiento lingstico. Sin embargo, una de las crticasque puede recibir el estudio es el hecho de haber realizado las pruebas con un intervalode tiempo. Tal mtodo creemos que no puede reflejar la competencia de los hablantesno-nativos, pues no hay que olvidar que la interlengua de los hablantes no-nativos esten constante evolucin y cambio.

Liceras (1993) tambin parte de la hiptesis de que las pruebas de eleccin ml-tiple y de preferencia son problemticas como instrumentos de medida de la compe-tencia lingstica en una L2. Los participantes en el estudio fueron 21 estudiantesnativos y 18 estudiantes de espaol de nivel avanzado de la Universidad de Ottawa.Liceras trata de estudiar los problemas metodolgicos que surgen cuando se intentaacceder a las intuiciones de hablantes no-nativos de una lengua. Para ello, Liceras usados pruebas de juicios gramaticales que contienen propiedades sintcticas que a su vezestn unidas a otras de carcter pragmtico: tema o dislocacin a la izquierda y remao topicalizacin. En un primer momento, y partiendo de esa interrelacin entre sinta-xis y pragmtica, Liceras encontr una falta de consistencia en los juicios emitidos porlos no-nativos del espaol en oraciones en las que un sintagma nominal aparece comotema o rema. Adems, Liceras encontr una gran diferencia en los niveles de acepta-cin de tales estructuras sintcticas entre las respuestas de los nativos y las de los no-nativos. Por ello, realiz un segundo experimento con la ayuda de una prueba depreferencias y una de juicios gramaticales con un dibujo que representaba el contexto.Sin embargo, estos resultados hay que interpretarlos con cierta cautela, pues comoseala Liceras (1993: 21) [...] al ser una prueba escrita, los sujetos quizs hayan igno-rado el valor de foco constrastivo del elemento antepuesto. Dado el carcter del estu-


56

dio -interrelacin sintaxis y pragmtica- creemos, sin embargo, conveniente el uso deotro tipo de pruebas como, por ejemplo, la de repeticin oral; pues otros elementos -entonacin y pausa- podran ser decisivos en las intuiciones de los participantes. Otrade las limitaciones del estudio es que se utilizaron grupos distintos de hablantes no-nativos en la realizacin de las pruebas en los dos momentos por lo que no se puedenestablecer claras correlaciones entre las intuiciones de los no-nativos ante tales aspec-tos sintcticos y pragmticos en el estudio. Tampoco queda claro si los resultados efec-tivamente se deben a las propias intuiciones de los participantes o ms bien al efectode la instruccin en clase.

Leow (1996) analiz la relacin existente entre los juicios gramaticales y la actua-cin de hablantes no-nativos con la ayuda de distintas pruebas de produccin. En esteestudio, los juicios de gramaticalidad que representan la concordancia nombre-adjetivofueron realizados por estudiantes principiantes de espaol primero durante su tercerasemana de estudio y despus en la semana 14. Los resultados de estas pruebas fueron asu vez comparados con otros procedentes de pruebas orales y escritas. Leow encontruna relacin significativa entre estos resultados lo que le permiti concluir que las prue-bas de gramaticalidad efectivamente reflejan los distintos modelos de conducta en eldesarrollo de una L2.

Goss et al. (1994) tratan tambin de investigar el efecto que pueden tener los dis-tintos mtodos de investigacin en la adquisicin de las propiedades determinadas porla Gramtica Universal. Cincuenta y dos estudiantes universitarios (34 estudiantes deespaol como segunda lengua y 34 hablantes nativos ingleses que hacan un curso deingls) participaron en el estudio. Todos ellos realizaron una prueba de juicios grama-ticales en relacin a las propiedades que vienen determinadas por el parmetro delsujeto nulo: la presencia de sujetos nulos, libre inversin, la huella-que y el uso de losexpletivos. La prueba se compona de 17 oraciones a las que los participantes tenanque contestar en una escala de tres: gramatical, no-gramatical o no estoy seguro. Encaso de elegir la opcin no-gramatical, los estudiantes tenan que sealar el error ycorregirlo. En el caso de los nativos ingleses, tuvieron que realizar tambin una prue-ba de juicios gramaticales que meda el Principio de la Categora Vaca y el de la Sub-yacencia (es decir, el movimiento de frases nominales y partculas interrogativas). Laspruebas se realizaron en clase. Una de las limitaciones del estudio, tal y como los auto-res sealan, es que no incluyeron un grupo de hablantes nativos (Goss et al. 1994). Porotra parte, el nmero de oraciones dentro del test es muy limitado. Tambin es impor-tante sealar que los resultados son descriptivos sin una base estadstica lo que impi-de su credibilidad. Sin embargo, independientemente de esos problemas estadsticoscomo Goss et al. (1994) afirman, los resultados, aunque descriptivos, sealan la simi-litud entre los individuos y sus respuestas. Adems, Goss et al. (1994: 283) aseguranque estos resultados no [...] reflejan el conocimiento intuitivo asociado con una com-petencia lingstica abstracta2.

Gass (1994), por su parte, examina la correlacin entre la fiabilidad de los tests yla adquisicin de propiedades sintcticas por medio de la comparacin de los juicios


57

sobre oraciones de relativo por parte de 23 hablantes chinos, coreanos y japoneses queestudian ingls como segunda lengua. El test representa las distintas posiciones de laoracin de relativo dentro de una jerarqua de accesibilidad, jerarqua que hace posi-ble hacer predicciones sobre la frecuencia y la ocurrencia de un tipo de oraciones enlas distintas lenguas del mundo. Para analizar esta fiabilidad, Gass pas las pruebascompuestas de 23 oraciones dos veces a los mismos sujetos con una semana de dife-rencia entre su realizacin. Cada vez que se pasaron las pruebas, los items fueron pre-sentados al azar. Los resultados de las pruebas estadsticas de correlacin muestranque aunque hay cierto nivel de variabilidad en la realizacin de las mismas en elmomento de llevarse a cabo, despus de todo, la actuacin de los no-nativos es signi-ficativamente fiable siendo consistentes en sus juicios. Sin embargo, uno de los pro-blemas de este trabajo es el limitado nmero tanto de participantes como de oracionesincluidas dentro del test: dos oraciones gramaticales y dos agramaticales por cada tipode oracin de relativo.

Finalmente, Mandell (1999) estudia la validez de los juicios de gramaticalidadcomparando dos tipos de pruebas, una de juicios gramaticales y otra de oraciones des-hidratadas, dentro del contexto del aprendizaje de una L2 dentro de la clase. En elestudio intervinieron 204 estudiantes de espaol como lengua extranjera con distintonivel (principiantes, intermedios y avanzados). Ambas pruebas estaban compuestas deoraciones relacionadas con las tres propiedades del parmetro del movimiento delverbo en espaol. Los resultados a los que llega Mandell son que la comparacin deambas pruebas indican que las pruebas de juicios gramaticales son pruebas fiables paramedir el conocimiento lingstico en una L2 no habiendo una diferencia significativaentre los niveles de adquisicin de las propiedades sintcticas y el tipo de test.

La pregunta que inmediatamente surge despus de la revisin de los trabajosanteriores es si la variabilidad en la actuacin por parte de los hablantes no-nativos esatribuible no al tipo de hablante (nativo versus no-nativo) sino ms bien a la estructu-ra estudiada y al medio metodolgico empleado a la hora de recoger los datos de losmismos. Asimismo, es importante sealar que aunque los estudios analizados en elapartado anterior tratan de estudiar la fiabilidad o no de los instrumentos lingsticosutilizados para la recogida de los datos, stos varan enormemente en las propiedadessintcticas que han sido objeto de estudio: la alternancia del dativo en ingls (Ellis1991); la extraccin de sintagmas nominales, oraciones subordinadas y recprocos enfrancs (Davies y Kaplan 1998); tiempo, persona, formacin de las interrogativas,orden de las palabras en ingls (Johnson et al. 1996); tpico y rema en espaol (Lice-ras 1993), concordancia nombre-adjetivo en espaol (Leow 1996), hasta la posicin delas oraciones de relativo en ingls (Gass 1994).

Por su parte, una de las crticas ms duras que han recibido las pruebas de jui-cios gramaticales es que, con tales pruebas, los investigadores tan slo pueden cono-cer, como seala Munnich et al. (1994: 229) [...] las creencias del hablante no-nativoacerca de la gramtica de la lengua meta3.


58

Despus de haber revisado los estudios que se han llevado a cabo en este mismocampo, la pregunta de investigacin de la que partimos para la realizacin de este estu-dio es si las distintas pruebas metodolgicas son efectivamente instrumentos fiablesque den muestra de la competencia lingstica de una L2. En otras palabras, hayalguna correlacin entre los resultados de la prueba de juicios gramaticales y los delos tests de oraciones deshidratadas en relacin a las tres propiedades sintcticasrelacionadas con el movimiento del verbo en espaol? Como hiptesis inicial parti-mos de la base que los resultados tendran que ser los mismos en la adquisicin dediferentes estructuras sintcticas que se rigen por la Gramtica Universal indepen-dientemente del formato de las pruebas. Adems, se esperara que los hablantes no-nativos mostrasen una gran consistencia al igual que lo hacen los hablantes nativosdel espaol.

2. ESTUDIO

Este artculo se basa enteramente en un estudio piloto en el que se investiga laadquisicin del movimiento del verbo por parte de hablantes no-nativos del espaol. Deforma breve, este estudio argumenta que los resultados de las pruebas realizadas porparte de hablantes no-nativos del espaol son, o pueden ser, cuestionables a causa qui-zs de problemas metodolgicos no previstos de antemano. A este respecto, es impor-tante remarcar que el presente estudio se inspira en parte en otro realizado conanterioridad (Mandell 1999).

2.1. Movimiento del verbo en espaol

Para verificar nuestras hiptesis, en concreto, examinaremos la adquisicin de lastres propiedades sintcticas que vienen determinadas por el hecho de que en espaol, aligual que en francs, los verbos deben elevarse a Flex para constatar su rasgo fuerte deconcordancia, lo que tiene como consecuencia que el verbo aparezca muchas veces enposiciones distintas que en el ingls, en el que los verbos tienen concordancia dbil. Enprimer lugar, el espaol permite la inversin subjeto-verbo con una partcula interroga-tiva delante, como en (1a)-(1c):

1)a. A quin acompaa Miguel?b. *With whom goes Miguel?c. Who does Miguel go with?

En este caso, el pronombre interrogativo tanto en espaol como en ingls es gene-rado primeramente en su posicin cannica, aunque luego se mueve a la posicin delcomplementante. En el caso del espaol, hay un doble movimiento tanto del pronombreinterrogativo como del verbo como se ilustra en el siguiente diagrama:


59

La segunda propiedad que es consecuencia del movimiento del verbo es la inver-sin sujeto-verbo en las interrogativas con respuesta s/no como se ilustra en el ejemplo(3):

3)a. Toma Carmen caf?b. * Drinks Carmen coffee?c. Does Carmen drink coffee?

Comparando las oraciones (3a)-(3c) vemos que en espaol hay un movimiento delverbo, verbo que se mueve de su posicin cannica hasta ocupar la posicin inicial quees la del complementante. En cambio, la formacin de interrogativas donde existe lainversin subjeto-verbo no es aceptable en ingls.Finalmente, la tercera propiedad est relacionada con la posibilidad o no de la presenciade adverbios (por ejemplo, tiempo y modo) entre el verbo y el OD como se ilustra en lassiguientes oraciones:

4)a. Elena repasa cuidadosamente los detalles.b. * Elena revises carefully the details.c. Elena revises the details carefully.

Comparando las oraciones (4a)-(4c) vemos que aunque el adverbio puede aparecerentre el objeto directo y el verbo en espaol, un adverbio raramente puede aparecer entreel verbo y el objeto directo en ingls. Es decir, como podemos observar en (4a)-(4c), lossintagmas adverbiales son generados en su posicin cannica, o sea, detrs del verbocomo ocurre en ingls, pero en espaol, luego, se mueve hasta ocupar la posicin entreel verbo y el OD.

En resumen, estas tres propiedades sintcticas en espaol y en ingls vienen deter-minadas por el movimiento del verbo. Mientras que en espaol tal movimiento es posi-ble; en cambio, en ingls se comporta de forma distinta porque el verbo no puedemoverse de su posicin cannica dentro de la frase verbal (Pollock 1989). Sin embargo,la estructura profunda de la frase verbal tanto en ingls como en espaol es la mismacomo se ilustra en el siguiente diagrama:


60

Como se puede ver, el verbo aparece como cabeza de la frase verbal. En espaol,el verbo se mueve de la posicin que ocupa dentro de la frase verbal hasta llegar al SFlexy de ah hasta el ST. En ingls, en cambio, el verbo permanece inamobible en SV. Tam-bin es muy interesante destacar que Pollock atribuye estas diferencias al hecho de queen francs Flex tiene rasgos fuertes y, por tanto, el verbo a pesar de ocupar la posicinde SFlex despus de moverse de SV es capaz de controlar el complemento que est enSV. En ingls, Flex es dbil y el verbo debe permanecer en su posicin cannica de locontrario no podra controlar el complemento. Por lo tanto, podemos concluir que enaquellas lenguas en las que Flex es fuerte (como en espaol) es posible el movimientodel verbo, mientras que en lenguas con Flex dbil no es posible.

2.2. Participantes

Los participantes en el estudio fueron 39 estudiantes de espaol (ingleses) de dosniveles distintos: principiantes absolutos (27) e intermedios (12); y un grupo de controlcompuesto por 8 hablantes nativos espaoles con el mismo nivel de educacin4.Los estu-diantes de espaol son estudiantes universitarios de primer ao que estudian espaolcomo parte de sus estudios. La seleccin de los estudiantes sigui una serie de criteriospara asegurar la homogeneidad entre los grupos:

a) la instruccin en clase: todos los estudiantes pertenecen a la misma universidad b) las diferencias situacionales fueron controladas haciendo que los estudiantes reali-

zaran la misma tarea bajo las mismas condiciones (las mismas instrucciones y elmismo tiempo para su realizacin)

c) un cuestionario fue realizado para controlar el nivel (teniendo en cuenta los aosde exposicin a la lengua meta y los aos de enseanza en espaol) y la lenguameta.

Los participantes que tomaron parte en el estudio eran estudiantes de la Universi-dad de Plymouth, pero con niveles diferentes de espaol:


61

i) un primer grupo de principiantes en espaol: 27 nativos ingleses.ii) un segundo grupo de nivel intermedio (Post A level): 12 nativos ingleses.iii) un tercer grupo compuesto de hablantes nativos de espaol (8).

La divisin entre los estudiantes corresponde a los requisitos de entrada de la uni-versidad. Sin embargo, una vez en la universidad, todos los estudiantes siguen el mismomtodo de enseanza, o sea, un enfoque comunicativo basado en el enfoque por tareas.La cantidad de exposicin, sin embargo, a la lengua meta es diferente para ambos gru-pos: mientras que los principiantes haban recibido 14 horas de instruccin en espaolcuando se realiz el estudio, los de nivel intermedio haban recibido instruccin en lalengua meta (o sea, espaol) por dos aos, segn sus respuestas en el cuestionario. Eneste caso, uno de los investigadores era a su vez profesor de algunos de los grupos.

2.3. Pruebas utilizadas

Para el estudio, usamos una prueba de juicios gramaticales (50 en total) que nossirvi para medir el grado de adquisicin de estas tres propiedades, y un test de oracio-nes deshidratadas (tambin 50 en total) con el que medimos la produccin de estos estu-diantes con respecto a las propiedades mencionadas anteriormente en el apartado 2.1. Enel caso de la prueba de gramaticalidad, se incluyeron 20 oraciones, todas ellas gramati-cales en espaol, pero agramaticales en ingls en relacin a la posicin de los adverbios(10 oraciones), y a la formacin de las preguntas con respuesta s/no (10 oraciones), yotras 10 agramaticales para la formacin de las interrogativas con una frase interrogati-va delante. Este diseo se basa en el hecho de que en espaol en el caso de los adverbiosson posibles todas las diferentes combinaciones. Para su interpretacin, hay que tener encuenta que las oraciones que son gramaticales en espaol no lo son en ingls y vicever-sa. De esta forma, para que haya refijacin de este parmetro el estudiante tendr quesealar correctamente las oraciones que son gramaticales y las que son agramaticales.Un ejemplo de un item incluido en la prueba se puede ver en (6):

6)Elena repasa cuidadosamente los detalles. Impossible PossibleElena revise-3ps carefully the details.Elena carefully revises the details.

El test de las oraciones deshidratadas consta de una serie de frases en las que apa-recen una serie de constituyentes separados por barras como se ilustra en (7):

7)Pedro / correr / regularmente / tres millas.Pedro / to run / regularly / three miles.

En cuanto a la prueba de las oraciones deshidratadas seguimos los mismos prin-cipios: 10 oraciones para la colocacin de los adverbios, 10 para la formacin de lasinterrogativas y otras 10 para las interrogativas con una partcula interrogativa delan-


62

te. Adems de las oraciones relacionadas con las propiedades de este parmetro,incluimos 20 distractores en cada prueba - oraciones gramaticales y agramaticales queejemplifican otras estructuras distintas a las del estudio; ya que su inclusin siguiendoa Ellis (1991: 170) [...] previene al aprendiz indentificar la estructura meta y por lotanto de acceder al conocimiento explcito5 . Aunque en ambos tests controlamos elvocabulario6 , no lo hicimos para el nmero de slabas y longitud de cada oracin. Enambos tests, las oraciones aparecan descontextualizadas, aunque todas ellas tenansentido por s solas.

Precisamente para evitar que los estudiantes se centraran en slo aquellos aspectosgramaticales, tenan que responder aceptable o no aceptable. De esa forma, las res-puestas se basan en las intuiciones de los estudiantes (Munnich et al. 1994). En caso deconsiderar que el item fuera no aceptable, los estudiantes tenan que corregirlo7 . En elcaso de la prueba de oraciones deshidratadas, los estudiantes tenan que formar frasescon los elementos dados, sin cambiar el orden dado.

Para la realizacin de ambas pruebas, los estudiantes tenan por escrito cadaprueba; sin embargo, se les limit el tiempo que disponan para emitir su juicio, 10segundos en el caso de los juicios de gramaticalidad y 15 segundos de intervalo en elcaso de las oraciones deshidratadas para evitar que de esa forma los estudiantes recu-rrieran a otros mecanismos; pues no hay que olvidar que estamos tratando de medir lasintuiciones por parte de hablantes no-nativos. Tambin, esto nos permite impedir queel participante pueda volver a leer el mismo item dos veces. Las instrucciones para larealizacin de ambas tareas fueron dadas en ingls y espaol para evitar problemas decomprensin.

Las distintas oraciones/items de cada una de las pruebas fueron distribuidas alazar, medida que se sigue en cualquier estudio psicolingstico. Las pruebas fueron rea-lizadas bajo las mismas condiciones. Los estudiantes principiantes recibieron un lista-do de vocabulario una semana antes de la realizacin de las pruebas, para evitarposibles problemas lxicos que impidieran que el estudiante pudiera realizar las dostareas. La realizacin de las tareas vari en su orden: un grupo hizo primero una tarea,mientras que el otro haca la otra y viceversa. Adems, dentro del mismo grupo, la rea-lizacin de la tarea vari.

El uso de tales pruebas, y no de otras (como produccin oral), viene determinadopor el propio carcter de las propiedades sintcticas que pretendemos estudiar. Comouno se puede imaginar tales construcciones pueden ser o son poco frecuentes en el len-guaje oral, incluso en el de los propios nativos. Por tanto, no se podra argumentar quesu ausencia representara la no-adquisicin de las mismas. Adems el hecho de utilizarestas dos pruebas se debe a la similitud de las mismas por lo que esperamos que los par-ticipantes muestren el mismo grado de aceptacin/rechazo de tales propiedades. De locontrario, si encontramos diferencias sustanciales en sus resultados, entonces podra-mos afirmar que ambas pruebas evalan la competencia lingstica de los participantesde forma distinta.


63

2.4. Anlisis estadstico y resultados

Para el anlisis estadstico, usamos una serie de tests de variabilidad (ANOVA) enlos que se daba el valor 1 si la respuesta del estudiante era la correcta, y 0 si era inco-rrecta. Los resultados de ambos tests se presentan teniendo en cuenta la media y la des-viacin tpica con la intencin de comparar las respuestas de los participantes en relacina las tres propiedades sintcticas anteriormente mencionadas. La media y la desviacintpica de cada una de las propiedades sintcticas en la prueba de los Juicios de Gramati-calidad de acuerdo con el nivel de los participantes aparecen en la Tabla 1.

Adverbio S/no preguntas Qu-preguntas(Propiedad 1) (Propiedad 2) (Propiedad 3)Media Dev. Tp Media Dev. Tp Media Dev. Tp

Principiantes (27) 7,48 1,87 6,74 2,19 3,86 2,49Intermedios (12) 7,08 1,68 5,17 1,90 4,17 3,56Nativos (8) 10,00 0,00 7,88 2,36 10,00 0,00Total (47) 7,81 1,91 6,53 2,29 4,98 3,44

Tabla 1. Media y desviacin tpica de los resultados en los juicios gramaticalesde acuerdo con el nivel de los participantes.

La Tabla 2 presenta la media y la desviacin tpica de los resultados para cada unade la tres propiedades sintcticas de la prueba de las Oraciones Deshidratadas de acuer-do con el nivel de los participantes.

Adverbio S/no preguntas Qu-preguntas(Propiedad 1) (Propiedad 2) (Propiedad 3)Media Dev. Tp Media Dev. Tp Media Dev. Tp

Principiantes (27) 5,93 3,11 2,89 3,93 6,22 3,94Intermedios (12) 3,58 3,45 1,83 2,95 8,42 1,83Nativos (8) 9,00 1,77 7,25 4,23 10,00 0,00Total (47) 5,86 3,45 3,36 4,11 7,43 3,44

Tabla 2. Media y desviacin tpica de los resultados en el test de oracionesdeshidratadas de acuerdo con el nivel de los participantes

Un diseo factorial mixto (3x2x3) fue realizado con los datos, con Grupo (Princi-piantes/Intermedios/Nativos) como factor Entre-Grupos y tests (Juicios de Gramaticali-dad/Oraciones Deshidratadas) y Propiedad Gramatical (lugar de los adverbios/s-nopreguntas/Qu-preguntas) como factores Dentro-Grupos. Las principales diferencias sig-


64

nificativas que se encontraron fueron de grupo (p

go, no podemos descartar que tales resultados se deban a la naturaleza misma de laspruebas usadas.

Adems, se realizaron correlaciones de Pearson Product-Moment para determinarla relacin entre la puntuacin de los participantes en Test 1 y Test 2, y tambin para ana-lizar su actuacin con respecto a las tres propiedades que se estn investigando. Los an-lisis fueron llevados a cabo de forma separada para el grupo de Principiantes (N = 27) ypara el grupo de nivel Intermedio (N = 12). Los hablantes nativos fueron excluidos debi-do al bajo nmero de participantes, y a la falta de variabilidad en casi todas las condi-ciones experimentales. El propsito de estos anlisis fue el de analizar cualquier tipo deconsistencia/variabilidad en trminos de actuacin, o sea, los participantes de formaindividual actuaron de forma similar en ambos tests? fue la actuacin de cada uno delos participantes similar en las tres propiedades gramaticales? (lo que se debera de espe-rar si su actuacin estuviera regida por los mismos principios paramtricos en todos loscasos). Los resultados de los anlisis de correlaciones aparecen en las Tablas 3-4.

Propiedad rho Significancia1 0.56

Las Tablas 3 y 4 muestran que para ambos grupos, principiantes e intermedios,hubo correlaciones positivas en ambos tests. stas son lo suficientemente altas para serestadsticamente significativas para los Principiantes en la propiedad 1 y 2, y para elgrupo de los Intermedios en propiedad 3. Lo que es sin duda de gran inters es el mode-lo de correlaciones a travs de las propiedades en el grupo de los principiantes. Como seindica en Tabla 3, hubo correlaciones positivas entre la propiedad 1 (adverbios) y pro-piedad 2 (preguntas s/no) en ambas pruebas. Sin embargo, hubo correlaciones negati-vas en lo referente a la actuacin en propiedad 1 y propiedad 3 (Qu-preguntas) y entrelas propiedades 2 y 3. Esto significa que la actuacin de los participantes en el estudiofue bastante similar en las dos primeras propiedades, pero de forma consistentementediferente en la propiedad 3. (Este modelo es menos claro para el grupo de los Interme-dios para quienes las correlaciones no son significativas, probablemente debido al bajonmero de participantes, y por consecuencia a la falta de valor estadstico).

Los resultados de las pruebas llevadas a cabo en este estudio demuestran queambas pruebas - juicios de gramaticalidad y oraciones deshidratadas - muestran, hastacierto punto, el desarrollo de la gramtica no-nativa de estos dos grupos de estudiantesde espaol con respecto a las tres estructuras sintcticas estudiadas, pero que a su vezreflejan las diferencias intrnsicas de las pruebas, y quizs otras de carcter lingstico.A este respecto, es importante sealar que, con la prueba de gramaticalidad, el estudian-te tena que decidir si la oracin era correcta o no, y en tal caso corregirla; mientras queen la segunda prueba, el estudiante tan slo tena que construir oraciones. Por lo tanto,ambas pruebas, aunque parecidas, tambin diferan en trminos de actuacin. Hay quedescartar, sin embargo, la posibilidad de que el estudiante siga diferentes estrategias talescomo la de aceptar todo, o rechazar todo8, o la de construir, como en el caso del test deoraciones deshidratadas, frases solamente con el orden dado, ya que si no hubiramosesperado que construyeran frases incorrectas con el pronombre interrogativo delante.

Si comparamos los dos grupos de no-nativos, o sea, principiantes e intermedios,nos sorprende que los principiantes, a pesar de haber estado expuestos a la lengua metatan slo 14 horas, realizaran ambas pruebas igual que el grupo de los intermedios quellevan al menos dos aos estudiando espaol; aunque hay que sealar que slo de formasuperficial, pues en el caso de los principiantes no hay evidencia de que sepan la flexinverbal en espaol. O sea, permiten el orden del espaol, pero con la base oracional delingls; de ah que usen formas verbales que carecen de flexin.

El hecho de que ambos grupos de estudiantes hayan obtenido resultados similaresen la prueba de juicios gramaticales como acabamos de sealar, podra haberse debidoal formato mismo de la prueba que permitira que los estudiantes adivinasen las res-puestas. Es decir, con este tipo de pruebas lo que estamos pidiendo a los participantes esque evalun una serie de juicios gramaticales que no tienen control sobre ellos (si com-paramos nativos y no-nativos) estando muchas oraciones ms all de su conocimiento dela lengua meta. De ah, que tengan que arriesgarse a emitir un juicio de valor, pero sinuna base gramatical, sino ms bien adivinndolo (Gass 1994). Sin embargo, para com-probar efectivamente tales conjeturas realizamos una serie de tests estadsticos que


67

demostraron que los hablantes no-nativos, bien sean principiantes o intermedios, no emi-tieron sus juicios al azar. Ambos grupos realizaron las pruebas por encima del nivel decasualidad siendo en ambos tests del 50%.

3. CONCLUSIONES

Como muestran los datos empricos de ambas pruebas, la actuacin de los hablan-tes no-nativos del espaol difiere de la de los nativos claramente no slo cuantitativa-mente, sino cualitativamente. Los no-nativos muestran un alto grado de inconsistenciaen sus juicios, lo que nos lleva a pensar que no disponen de un claro modelo que deter-mine su conocimiento lingstico de la lengua meta. Una de las posibles explicacionespara estos resultados es que tales construcciones sintcticas no son objeto de estudio enla clase y tampoco se mencionan en los libros de enseanza del espaol como lenguaextranjera; por lo que, los hablantes no-nativos parten de la base de su propia lengua yde sus propias presuposiciones u operaciones metalingsticas (o como algunos prefie-ren llamarlas sentimientos -feelings (Liceras 1993)).

Una de las dificultades cruciales para interpretar los resultados obtenidos es que nopodemos determinar si efectivamente los no-nativos del espaol violan algunas de laspropiedades de este parmetro porque no han adquirido el rasgo fuerte de la inflexin enespaol, o ms bien se debera de hablar que tales violaciones se explican debido alcarcter mismo las pruebas. Se pueden observar diferencias en los resultados de ambaspruebas y esto demostrara que ambas pruebas no reflejan por igual la habilidad lings-tica de los participantes. Es posible que estas pruebas midan otros aspectos de la com-petencia lingstica como los aspectos pragmticos que podran estar interelacionados.

Sin embargo, hay que sealar que esta posible explicacin no es apropiada ya que losnativos se comportan de forma consistente en ambas pruebas. En otras palabras, una de lasconclusiones preliminares del estudio es que los hablantes no-nativos del espaol no sontan consistentes en sus interpretaciones de los items que hemos incluido en ambas pruebascomo lo son los nativos espaoles. Sin embargo, y especialmente en el caso de algunoshablantes nativos y no-nativos, es muy difcil afirmar que sus intuiciones tengan una basepuramente gramatical, y no de comprensin (o sea, intervencin de otros factores talescomo pragmticos). Incluso, el hecho de que consideren correcta una oracin agramaticalse puede deber a otros aspectos que no tuvieran nada que ver con aquellos que queramosinvestigar (o sea, consideraron los juicios como agramaticales por aspectos que son total-mente lxicos). Esto se puede deber, especialmente en el caso de los no-nativos, al hechode poseer una gramtica que carece de ciertos conocimientos lingsticos.

Lo que tambin es bastante sorprendente de los resultados es que los hablantes no-nativos muestren puntuaciones similares a la hora de aceptar tanto las oraciones gramati-cales como las agramaticales. Lo que demuestra que sus juicios no estn relacionados nicon la naturaleza de las oraciones tanto gramaticales como agramaticales ni con la etapade adquisicin de los estudiantes. Pues, ambos grupos muestran la misma tendencia.


68

Para concluir, los resultados de este estudio piloto indican claras diferencias signi-ficativas entre la prueba de juicios gramaticales y el test de oraciones deshidratadas, adiferencia de los resultados del estudio de Mandell (1999). Mandell sostiene que no exis-ten diferencias significativas en el resultado de la adquisicin de las tres propiedadesderivadas del movimiento del verbo en espaol ya que los resultados en ambas pruebasson iguales por parte de los estudiantes. Adems, y en contra de Gass (1994), tenemosque sealar que las pruebas utilizadas (juicios gramaticales y oraciones deshidratadas)no parecen ser fiables. Si ahora tenemos en cuenta si tales pruebas miden el mismo tipode conocimiento tanto en los hablantes nativos como los no-nativos, en contra de Man-dell, nuestros anlisis demuestran que se no parece ser el caso. Por lo tanto, los resul-tados indican indudablemente la necesidad de encontrar otros instrumentosmetodolgicos que nos faciliten la posibilidad de analizar/estudiar la naturaleza y otraspropiedades que forman parte de una gramtica no-nativa. De ah que pensemos quetales pruebas no sean fiables a la hora de estudiar el conocimiento lingstico de hablan-tes no-nativos, pues en el caso de los nativos no ocurre. Eso se debe, creemos, a que losno-nativos no tienen una gramtica totalmente determinada en relacin a estas propie-dades.

Para una investigacin posterior sera interesante investigar la correlacin entreestos dos tipos de pruebas - pruebas que miden la competencia lingstica de forma indi-recta - con aquellas que miden la competencia lingstica de forma directa - como porejemplo, a travs de la inferencia que se pueda hacer con la ayuda de las respuestas delos hablantes (por ejemplo, preguntando al estudiante que diga verbalmente el porqu delos juicios emitidos), ya que creemos que el conocimiento extralingstico del hablantebien nativo o no-nativo puede ser de gran ayuda para la interpretacin de aquellositems incluidos en las pruebas. Asimismo, tambin sera de gran inters en un estudioposterior realizar los juicios gramaticales con la ayuda del ordenador, ya que estamoshablando de la evaluacin de cmo hablantes no-nativos procesan las propiedades sin-tcticas de una lengua meta, y el ordenador nos permitira evaluar el tiempo de procesa-miento de forma ms directa.

NOTAS

* Parte de este estudio se present en el I Congreso Internacional de Lingstica Lxico y Gramtica cele-brado en Lugo (Espaa) en septiembre del 2000. Nos gustara agradecer la participacin de los estudian-tes de la Universidad de Plymouth (UK) en la recogida de los datos y a Carmen Garca del Ro por lasdiscusiones sobre el texto. Todos los errores son nuestros.

1. Segn Gass (1994), los primeros se refieren a aquellas oraciones originadas en base gramatical, mientrasque los segundos se refieren a aquellas oraciones que los hablantes pueden considerar bien formadas.

2. La traduccin es nuestra.3. La traduccin es nuestra.4. Sin embargo, para este estudio no hemos tenido en cuenta aquellas preferencias que se podran derivar del

idiolecto propio de cada uno de los hablantes; cuestin que queda pendiente para un estudio posterior. Asi-mismo, somos conscientes del reducido nmero de los mismos.

5. La traduccin es nuestra.


69

6. Comprobamos que el vocabulario fuera familiar para ambos grupos. De esta forma, nos asegurbamos quesi los estudiantes juzgaban las oraciones como agramaticales fuera de acuerdo con las estructuras sintcti-cas y no debido a otros problemas externos.

7. Sin embargo, uno de los problemas que se pueden plantear es qu hacer cuando el estudiante consideraincorrecta la oracin, no por el aspecto que se est estudiando, sino por otro ajeno (es decir, bien sea decarcter lxico o pragmtico).

8. Sin embargo, hay que aadir que, al pedir a los estudiantes que corrigieran las oraciones supuestamenteagramaticales, quizs estuviramos obligndolos a que autocorrigieran incluso en casos donde no existatal problema gramatical.

BIBLIOGRAFA

Bley-Vroman, R. et al. 1988. The accessibility of Universal Grammar in adult languagelearning. Second Language Research 4: 1-32.

Cowan, R. et al. 1994. Investigating the validity and realibility of native speaker andsecond-language learner judgments about sentences. Research Methodology inSecond Language Acquisition. Eds. E. Tarone et al. Hillsdale, NJ: LawrenceErlbaum. 287-302.

Chaudrom, C. 1983. Research on metalinguistic judgments: A review of theory,methods, and results. Language Learning 33: 343-377.

Davies, W. y Klaplan, T. 1998. Native speaker vs. L2 learners grammaticalityjudgements. Applied Linguistics 19: 183-203.

Davis, W. et al. 1998. Native speakers vs. L2 learner grammaticality judgements.Applied Linguistics 19: 183-203.

Ellis, R. 1991. Grammaticality judgements and second language acquisition. Studiesin Second Language Acquisition 13: 161-186.

Gass, S. 1994. The reliability of second-language grammaticality judgments. ResearchMethodology in Second Language Acquisition. Eds. E. Tarone et al. Hillsdale, NJ:Lawrence Erlbaum. 303-322.

Goss, N. et al. 1994. Two heads may be better than one: mental activity in secondlanguage activity judgments. Research Methodology in Second LanguageAcquisition. Eds. E. Tarone et al. Hillsdale, NJ: Lawrence Erlbaum. 263-286.

Johnson, L. et al. 1996. Indeterminancy in the Grammar of Adult Language Learners.Journal of Memory and Language 35: 335-352.

Lakshmanan, U. y Teranishi, K. 1994. Preferences versus grammaticality judgements:some methodological issues concerning the governing category parameter insecond language acquisition. Research Methodology in Second Language Acqui-sition. Eds. E. Tarone et al. Hillsdale, NJ: Lawrence Erlbaum. 185-206.

Liceras, J. 1993. Los juicios de gramaticalidad en terreno movedizo. Foro Hispnico6: 15-30.

Leow, R. 1996. Grammaticality judgement tasks and second-language development.Georgetown University Round Table on Languages and Linguistics. 126-139.

Mandell, P. 1999. On the reliability of grammaticality judgement tests in secondlanguage acquisition research. Second Language Research 15: 73-99.


70

Munnich, E. et al. 1994. Elicited imitation and grammaticality judgment tasks: whatthey measure and how they relate to each other. Research Methodology in SecondLanguage Acquisition. Eds. E. Tarone et al. Hillsdale, NJ: Lawrence Erlbaum.227-243.

Pollock, J.Y. 1989. Verb movement, Universal Grammar, and the structure of IP.Linguistic Inquiry 20: 365-424.

Tarone, E. et al., eds. 1994. Research Methodology in Second Language Acquisition.Hillsdale, NJ: Lawrence Erlbaum.

Towell, R. y Hawkins, R. 1994. Approaches to Second Language Acquisition. Clevedon,Filadelfia, Adelaide: Multilingual Matters.

White, L. 1990b. The Verb-Movement Parameter in Second Language Acquisition.Language Acquisition 1: 337-360.


71

pruebas de gramaticalidad- instrumentos fiables?

Documents