problemi e tecniche del testing online (parte i) gianfranco porcelli pavia, 4 febbraio 2010
TRANSCRIPT
Problemi e tecniche del testing online
(parte I)
Gianfranco Porcelli
Pavia, 4 febbraio 2010
Archimede e il Testing(ciò che si guadagna in forza si perde
in movimento)
Oggettività e realismo
• Ciò che si guadagna in oggettività si perde in realismo
• Le capacità di interagire nelle reali situazioni di comunicazione si possono osservare solo nelle reali situazioni di comunicazione
Ansia da test
La bella notizia
Clever…
Verare e falsare
Bleah!
Non solo Linus / 1
Non solo Linus / 2
La verifica del profitto come comunicazione
• Tre termini cruciali:– Verifica– Profitto– Comunicazione
La verifica del profitto come comunicazione
• Verifica e valutazione
• La ‘misurazione’
Verifica Valutazione
Verifica
Valutazione
Performance
Persona
Insegnante Consiglio di classe
La verifica… (1: di che cosa?)
• Oggetto della verifica è la performance, ciò che lo studente “esterna”, come indice e campione della competence:
a) indice, perché può condurre a intuire processi mentali e abilità complesse;
b) campione, perché ogni prova di controllo non può che selezionare alcune abilità, competenze, aree lessicali...
Input, Intake, Output
INPUT INTAKE OUTPUT
Grammatica e lessico
• Se si parte da un’ottica comunicativa si scopre allora che per capire un testo la grammatica serve a poco …
• … il lessico molto di più!– Il Lexical Approach (1993)
• Chi viaggia all’estero si porta una grammatica o un dizionario?
• E allora, perché tendiamo a ragionare come se imparare una lingua fosse impararne la grammatica?
Grammatica dell’aspettativa e testing pragmatico
• Le prove pragmatiche mettono in gioco le competenze testuali– - in particolare la capacità di capire un testo
facendo anticipazioni corrette
• Oller (1979) cita anzitutto il dettato per l’orale e il cloze test per lo scritto, ma anche la traduzione e altre forme di parafrasi sono incluse tra le prove pragmatiche
La verifica… (2: quali parametri?)
• La accuracy, in termini di correttezza a livello fonetico, grammaticale e lessicale
• La fluency, intesa come capacità di comunicare non necessariamente in modo totalmente accurato
• La comprensione interculturale, grande obiettivo di fondo da non dimenticare– però nei test tende a sparire– il backwash o washback
Coerenza delle verifiche
con il metodo adottato: un testing di matrice strutturalista non è compatibile con approcci comunicativi e/o umanistico-affettivi;
con gli obiettivi della verifica.
• Senza tale coerenza il test è privo di VALIDITA’VALIDITA’.
Validità dei test
• Definizione: capacità di un test di verificare ciò che intende verificare e nient’altro.– Test “di intelligenza” o “di lingua” ?
Parametri della validità:– Pertinenza;– Accettabilità;– Comparabilità;– Economia.
...del profitto...
CALIBAN:
You taught me language, and my profit on’t
Is, I know how to curse; the red plague rid you,
For learning me your language!W. Shakespeare, The Tempest, I, ii,
363
[Italiano lingua seconda per i colf, 1611]
…come comunicazione.
a) coerente con un approccio comunicativo;
b) come comunicazione operativa di obiettivi.
Misurare: si può?
• Unità di misura
• Lo zero
• Gauss e “distanze relative”– la statura– il reddito
• Misurare, in senso stretto, non si può.
Il voto come comunicazione
• I numeri (e le medie)• Gli aggettivi• Le lettere
– ma oggi...
• ...e ancor più, sperabilmente. domani:• il PORTFOLIO (e dintorni: passaporto,
ecc.) come documentazione di ciò che si sa fare
• “I have no Italian” – essere padroni di una lingua (sapere non è possedere)
Statica o dinamica?
• quattro giorni fa: 40°• tre giorni fa: 39°• l’altro ieri: 37°• Ieri: 36°
• oggi… ?
La distribuzione normale delle frequenze
• Ovvero, anche il caso ha le sue regole
Poligono frequenze 1 dado
0
0,2
0,4
0,6
0,8
1
1,2
0 1 2 3 4 5 6
1 dado
Poligono frequenze 2 dadi
0
1
2
3
4
5
6
7
2 3 4 5 6 7 8 9 10 11 12
2 dadi
Poligono frequenze 3 dadi
0
5
10
15
20
25
30
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
3 dadi
Poligono frequenze 3 dadi
0
5
10
15
20
25
30
3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18
3 dadi
Poligono frequenze 4 dadi
0
20
40
60
80
100
120
140
160
4 dadi
Poligono frequenze 5 dadi
0
100
200
300
400
500
600
700
800
900
5 dadi
Poligono frequenze 6 dadi
0500
100015002000250030003500400045005000
6 dadi
Corollario 1
• Di sicuro il voto in decimi non è un’unità di misura: la distanza tra il voto 2 e il voto 3 è pressoché inesistente (in molti casi, sono entrambi sinonimi di “insufficienza gravissima non dovuta solo a difficoltà di apprendimento”); la distanza tra 5 e 6 è enorme, come attesta l’abbondanza di valori intermedi come 5+, 5½, 5/6, 6=, 6- eccetera.
Corollario 2
• L’analisi di questi voti, così come sono comunemente usati, ci indica che ne bastano cinque (dal quattro all’otto) per coprire la gamma di giudizi da “prestazione pessima” a “prestazione ottima”, mentre agli altri viene aggiunta una connotazione aggiuntiva non limitata al profitto: da una parte una punizione o una sanzione morale per negligenza, scarso interesse o altro; dall’altra un elogio o un premio.
• In questo i voti si differenziano nettamente dai punteggi dei test, che fanno riferimento esclusivamente all’esecuzione della prova e al risultato conseguito in termini di risposte esatte.
Corollario 3
• Sempre più diffuso ma altamente deprecabile è l’uso delle percentuali con un numero esiguo di soggetti: avviene di leggere, ad esempio, che gli studenti che hanno raggiunto un dato livello sono aumentati dal 57,14% al 64,28% e poi si scopre che il miglioramento riguarda uno studente in un gruppo di 14 soggetti.
• L’apparente scientificità è un mascheramento del vero.
Norma e Criterio• “Norma”: riferimenti interni.
– Il richiamo alla “norma” è un raffronto con i livelli medi di profitto riscontrabili in una classe (è un raffronto possibile, in qualche misura, per lo
scolaro).
• “Criterio”: riferimenti esterni – Il richiamo al “criterio” è un raffronto con
parametri esterni — ad esempio, quelli offerti dal Quadro Comune Europeo di Riferimento (è un raffronto di norma impossibile per lo
scolaro).
La “sufficienza”
• Sufficienza “assoluta” o “criteriale” (p. es. con riferimento alle esigenze di un’azienda);– “dieci euro sono sufficienti?”– criterio: il bene o servizio da acquistare
• Sufficienza “relativa” o “normale”, ossia scolastica– “mio figlio è sufficiente?”– criterio: le attese dell’insegnante.
Conoscenza delle lingue...
• Ottima... • Sufficiente... • Scolastica...
Scale di valutazione
• La “scala di valutazione generale” secondo B.J. CARROLL, Testing Communicative Performance, Oxford, Pergamon, 1980.
• Il two-tier system e le certificazioni.
9. Utente esperto.
• Comunica con autorevolezza, accuratezza e stile. Completamente a proprio agio nell'inglese idiomatico e specialistico.
8. Utente ottimo.
• La presentazione dell'argomento è chiara e logica con buono stile e una chiara percezione degli indicatori di atteggiamento. Si avvicina spesso alla competenza bilingue.
7. Utente buono.
• Sa affrontare la maggior parte delle situazioni in un ambiente anglofono. Lapsus occasionali e limitazioni nel linguaggio non impediscono la comunicazione.
6. Utente competente.
• Malgrado sappia far fronte alla maggior parte delle situazioni che probabilmente dovrà affrontare, è un po' carente nella scorrevolezza (fluency) e nell'accuratezza e occasionalmente incorrerà in fraintendimenti o errori significativi.
5. Utente modesto.
• Sebbene in genere riesca a comunicare, spesso usa un linguaggio non accurato o improprio.
4. Utente marginale.
• Manca di stile, scorrevolezza e accuratezza; non è facile comunicare con lui, l'accento straniero e la scarsa padronanza del codice provocano fraintendimenti. In genere se la cava senza gravi intoppi.
3. Utente estremamente limitato.
• Non possiede una conoscenza operativa della lingua dell'uso quotidiano, ma è migliore di un principiante assoluto. Né le abilità produttive né quelle ricettive permettono una comunicazione continuativa.
2. Utente intermittente.
• Esecuzione ben al di sotto del livello di conoscenza operativa della lingua dell'uso quotidiano. La comunicazione si instaura solo sporadicamente.
1/0. Non utente.
• Può non riconoscere con sicurezza quale lingua si stia usando.
Descrittori Produzione Scritta A
• A1 - So scrivere una breve e semplice cartolina, per es. per mandare i saluti dalle vacanze. So riempire moduli con dati personali ad es. il mio nome, la nazionalità e l'indirizzo sulla scheda di registrazione di un albergo.
• A2 - So scrivere semplici appunti e brevi messaggi su argomenti riguardanti bisogni immediati. Riesco a scrivere una lettera personale molto semplice, per es. per ringraziare qualcuno.
Descrittori Produzione Scritta B
• B1 - So scrivere semplici testi coerenti su argomenti noti o di mio interesse. So scrivere lettere personali esponendo esperienze e impressioni.
• B2 - Sono in grado di scrivere testi chiari e articolati su un'ampia gamma di argomenti che mi interessano. Sono capace di scrivere saggi e relazioni, fornendo informazioni e ragioni a favore o contro una determinata opinione. So scrivere lettere mettendo in evidenza il significato che attribuisco personalmente agli avvenimenti e alle esperienze.
Descrittori Produzione Scritta C
• Sono in grado di esprimermi sviluppando analiticamente il mio punto di vista in testi chiari e ben strutturati. Scrivo lettere, saggi e relazioni esponendo argomenti complessi, evidenziando i punti che ritengo salienti. Sono in grado di scegliere lo stile adatto ai lettori ai quali intendo rivolgermi.
• Sono in grado di scrivere testi chiari, scorrevoli e stilisticamente adeguati. Scrivo lettere, relazioni e articoli complessi e supporto il contenuto con una struttura logica efficace che aiuti il destinatario a identificare i punti salienti da rammentare. Sono capace di scriver riassunti e recensioni di opere letterarie e saggi professionali.
Errore e Sbaglio
• I termini NON sono sinonimi nemmeno nella lingua italiana corrente: si può fare qualcosa per errore o per sbaglio, tuttavia si può solo indurre in errore ma non *indurre in sbaglio.
• Le co-occorrenze e la prosodia semantica– compiere vs commettere / in caso di vs nel
caso di
• In Glottodidattica...
L’errore
• a) Si riferisce alla competence e quindi è sistematico;
• b) Ha bisogno di interventi esterni e espliciti per essere corretto;
• c) L’insieme degli errori rivela il livello di interlanguage raggiunto e, potenzialmente, il grado di fossilizzazione.
Lo sbaglio
• a) Si riferisce alla performance e quindi è occasionale;
• b) Per definizione, può essere corretto da chi l’ha commesso, purché se ne accorga;
• c) La frequenza degli sbagli può essere indice di uno stato ansioso in chi parla o scrive.
Corollario fondamentale
• Qualora un dato elemento venisse esaminato una sola volta in un test:
• se la risposta è errata, non sapremo mai se si tratta di un errore o di uno sbaglio;
• ma anche una risposta corretta potrebbe nascondere problemi di competence, con una performance “giusta per sbaglio”;– [errore palese e errore nascosto]
È accaduto in una Scuola Media
• Alcuni studenti hanno meritato un giudizio nettamente positivo sulla base delle risposte date a un questionario ma hanno rivelato gravi lacune nella comprensione del testo quando è stato chiesta la retroversione del brano su cui era basato il questionario.
– (segue)
C’è poca scelta …
• Se si segue l’ordine del brano
• la sequenza facilita il ritrovamento delle risposte giuste, “a intuito”
• Se non si segue l’ordine del brano
• si procede in modo innaturale e si inseriscono difficoltà artificiose
La legge del non-reciproco(variante della “legge di Murphy”)
• Se un test o una prova strutturata palesano errori, ci sono problemi di apprendimento.
• Se invece non palesano errori, i problemi potrebbero esserci ugualmente.
Genesi degli errori / 1
• a) transfer interlinguistico
errori di “interferenza”:
*the goods boys
*le chaleur, le méthode
*die Fräulein
Genesi degli errori / 2
b) transfer di apprendimentoerrori di ipergeneralizzazione:
*who did arrive?
*speak you English?
• Chi risponde dà una risposta
• Chi propone fa una proposta
• …ma chi dispone non dà una *disposta
• …e soprattutto chi suppone non… osta
Genesi degli errori / 3
c) strategie didattiche, strategie di apprendimento della L2, strategie di comunicazione
uso eccessivo o scorretto di:– forme rare– un solo genere– forme elementari
• Esito generale: FOSSILIZZAZIONE
Esempi (inglese LS)
• What (happen) ________ there after I had left?
• My friend Tom can ski vey well; he’s a small champion
• A friend of mine / Un amico dei miei
• What was Pepys doing when they woke him up?
• You’ve written a romance