LesingHva skal vi vurdere?

Inger LangsethProgram for lærerutdanning

NTNUUtdanningsdirektoratet 1.nov. 2010

Karakter - sensur

Tekstforståelse (engelsk vg1 sensorveiledning)

Tekstforståelse kan komme til uttrykk som direkte svar på oppgaver knyttet til tekstutvalget, og/eller gjennom at eleven bruker denne forståelsen i utformingen av sine egne tekster både når det gjelder innhold og komposisjon.

Ikke nevnt i vurderingsskjemaet

Innhold

• Hvor langt er vi kommet i vurdering av leseforståelse?• I lærebøkene?• I sluttvurdering?

• Hvilke utfordringer står vi overfor?• Lesing – Hva består lesing i? • Lesing – Hvordan tester vi lesing?

Konstrukt

Veien videre VFL VAL

KommentarerTilbakemeldingerFremovermeldinger

KaraktererEgenvurderingSluttvurdering

Utfordringer

Sluttvurdering må modellere god undervisning

Washback effektpå fagenes premisser

i

om

Visible teachingInnhold

Awareness of the learning intentions

Know enough about the content to provide

meaningful and chalenging learning experiences

John Hattie

Professor of Education, Faculty of Education,

The University of Auckland

Student

Knowing when the student is successful

Having sufficient understanding of the

student’s understanding

Visible learning

Visible

Et konkret eksempel

•http://www.udir.no/grep/Grunnleggende-ferdigheter/?visning=2

Lesing – i 2010

Can’t I just e-mail you a link to my blog, miss?

Lesing

Hvilke spørsmål vil du stille til en tekst for å fremme lesing/vurdere leseferdighet? Hvordan vil du systematisere spørsmålene gjennom begrep?

Lesing

KonstruktDitt svar viser ditt syn på lesing, hva du mener lesing er og hvordan du vil vurdere lesing.

To viktige poeng førstKontekst 50%

Hva vet du om tema?

Vi bidrar til å gjøre elevene til gode eller dårlige lesere gjennom de tekstene vi velger ut.

Vokabular

Forstår du ordene i teksten?

Den viktigste indikatoren på tekstforståelse er vokabular.

Avisartikkel

Citizen Rights Don't Apply to Roma By Claudia Ciobanu

BUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan mass expulsions of Roma or demolitions of Roma settlements. Rights groups warn that these measures entail the criminalisation of an entire ethnic group, and break EU law.

http://www.aftenposten.no/nyheter/iriks/article3036474.ece

Kontekst

AvisartikkelLa situation des roms en France atteint un point critique [FR] [en] Publié: 07 décembre 2005 Un récent rapport du Centre européen pour les droits des Roms (ERCC) indique que les populations roumaines et tsiganes de France vivent dans un climat perpétuel

de racisme et de discrimination.

Peu après les émeutes dans les banlieues françaises, le Centre européen pour les droits des roms, basé à Budapest, a publié un rapport détaillé sur la situation des tsiganes, des voyageurs et des roms migrants en France. Intitulé Hors d'ici! Anti-tsiganisme en France, ce rapport résume les résultats des recherches et activités de suivi menées par l'ERCC depuis 2003.Selon le rapport, la population de tsiganes installés en France s'élève officiellement à environ 500 000 personnes, bien que ce chiffre soit, selon certaines estimations, plus proche de 1,2 million. Le rapport établit que la grande majorité des tsiganes et des voyageurs en France sont des ressortissants français. Les gens du voyage sont sensés être des nomades.Dans ce rapport, l'ERRC déclare que "La France est reconnue comme source historique et gardienne des valeurs de la démocratie moderne ainsi que des droits et libertés individuelles; toutefois des milliers de citoyens français sont victimes de violations graves de leurs droits civils et politiques les plus élémentaires sans que ceci ne soulève le moindre soupçon de réprobation, encore moins un tollé public face à cette atteinte aux principes fondamentaux de la République Française ! Beaucoup de personnes victimes de ces violations sont en fait tsiganes et voyageurs, ce qui semble indiquer le caractère raciste sous-tendu par celles-ci."Les minorités tsiganes sont généralement considérées comme les plus vulnérables au racisme et à la discrimination dans les nouveaux Etats membres également, notamment en Bulgarie, en République tchèque, en Hongrie et en Slovaquie.

Vokabular

AvisartikkelCitizen Rights Don't Apply to Roma By Claudia Ciobanu

BUCHAREST, Aug 7, 2010 (IPS) - All major European countries plan mass expulsions of Roma or demolitions of Roma settlements. Rights groups warn that these measures entail the criminalisation of an entire ethnic group, and break EU law.

The French executive announced Jul. 29 that 300 illegal Roma camps would be demolished in the next three months. According to the President's office, the camps are "sources of illegal trafficking, profoundly shocking living standards, exploitation of children for begging, prostitution and crime."

By the end of this year, France is set to adopt legislation to expel undocumented Roma residing in the country, "for reasons of public order."

Germany is set to deport 12,000 Roma back to Kosovo over the next years. Half of them are children and adolescents who grew up in Germany.

Sweden has this year deported 50 Roma from Eastern Europe for begging, even though begging is not a crime in this country. Denmark deported 23 Eastern European Roma in July. In Belgium, 700 Roma were forced to exit Flanders in July, and given only temporary shelter in Wallonia.

The UK government last month announced legislation that would lead to the eviction of tens of families of Roma and travelers, pushing them into illegality.

The steps taken by Western governments come right in the middle of the Decade of Roma Inclusion (2005-2015), "an unprecedented commitment by European governments to improve the socio-economic status and social inclusion of Roma."

In 2008, Italy declared a state of emergency over Roma immigrants.

Around 10 million Roma are estimated to be living in Europe. The largest concentration is in Romania, at two million according to unofficial estimates. Hundreds of thousands live in other Central and Eastern European countries.

Vurdering

Konstrukt ( hva vi tenker om lesing)• Teksten vi velger• Oppgavene vi gir• Svarene vi fokuserer på• Hvordan vi tolker svareneDisse valgene baseres på en teoretisk

forankring

OECD-PISAIEA-PIRLS

Assessing readingJ Alderson

Reading

1 PURPOSE hensikten med lesingen2 PROCESS forholdet mellom tekst og leser3 PRODUCT tekstforståelsen-

meningspotensialet

4 BEHAVIORS/ATTITUDES strategier og interesse

5 ASSESSMENT for/av læringAlderson

PIRLS

1 PurposeThree aspects of student’s reading based upon what students read (IEA PIRLS):

Purposes for reading• Reading for literary experience 50% (rauding)• Reading to acquire and use information 50%

(scanning, learning, memorising)

Purpose - Literary experience

Imagine:

• Events• Settings• Actions• Consequences• Characters• Atmospheres, feelings• Ideas

Recall own:

• Experiences• Feelings

• Appreciation of language

• Knowledge of literary forms

Purpose - Reading for information

Understand the world

• Past, present, future

• Reasoning based on text

• Action based on text

StructureChronological organisationLogical organisationCause and effectArguments and counter

argumentsViewpoint and supporting

evidencePersuasive textsProblem and solutionDocumented with tables etcNon continous text

Purpose - Reading for information

Understand the world

• Past, present, future

• Reasoning based on text

• Action based on text

Seks hovedsjangre• Gjenfortelling ( recount)

• Rapport (report)

• Forklaring (explanation)

• Diskusjon (discussion)

• Overtalelse (exposition) 

• Instruksjon (pros edure)

2 ProcessFive reading processes:

1. Skimming – lese fort for en generell forståelse 1000 ord pr minutt.

2. Scanning – lese for å finne informasjon3. Rauding - lesning hvor leseren forstår

alle setningene med letthet ca 300 ord pr minutt

4. Learning –lese for å forstå noe nytt5. Memorising – lese for å huske

Carver 1990 s52

Eksempel 1

PIRLS4 leseprosesser

ProcessFour processes of comprehension

1. Focus on and retrieve explicitly stated information 20%

2. Make straight forward inference 30%

3. Interprete and integrate ideas and information 30%

4. Examine and evaluate content, language and textual elements 20%

IEA PIRLS

1) focus on and retrieve explicitly stated information

20%• Basert på setningsnivå.• Meningen er tydelig uttrykt i teksten• Leseren må knytte spørsmålet til informasjonen i tekstenExamples:• Identifying information that is relevant to the specific goal of

reading• Looking for specific ideas• Searching for definition of words or phrases• Identifying the setting of a story• Finding the topic sentence, main idea when explicitly stated

IEA PIRLS

2) make straight forward inference

30%• Basert på over setningsnivå• Fylle inn informasjonsgap i teksten• Sette sammen to ideer eller to informasjonsdeler• Informasjonen er eksplisitt tilgjengelig i tekstenExamples• Inferring that one event caused another• Conclude what is the main point made by a series of arguments• (Lokal: En person beskrives på samme måte flere ganger og det danner

et karaktertrekk. Global: Teksten beskriver et tema i flere sammenhenger)

• Determine the referent of a pronoun• Identifying generalisations made in the text• Describing the relationship between two characters

IEA PIRLS

3) interprete and integrate ideas and information

30%• Basert på over setningsnivå.• Tolker og integrerer tekstelementer, ofte basert på egne

erfaringer og kunnskap• Knytte detaljer til overordnede mål, tema, ideer…• Svarene gir en holistisk forståelse av teksten • Svarene varierer etter kunnskap og erfaringerExample:• Discerning the overall message or theme of a text• Considering an alternative to actions of characters• Comparing and contrasting text information• Inferring a story’s mood or tone• Interpreting a real-world application of text information

IEA PIRLS

4) examine and evaluate content, language and textual elements

20%• Basert på teksten og analyse av den (ikke mening)• Basert på kunnskap om verden og tekster• Innhold: aksepterer, avviser eller er nøytral til innholdet• Struktur: sjanger, tekstoppbygging, konvensjoner, • Språk: god kjennskap til språket er nødvendig• Forfatterens: hensikt, perspektiv eller ferdighetExample:• Evaluate the likelihood that the event could really happen• Describe how the author devised a surprise ending• Judging the completeness or clarity of information in the text• Determining an author’s perspective on the central topic

IEA PIRLS

Eksempel 2

PISA5 leseprosesser

PROCESS- OECD PISA

Metakognisjon”Kunnskap om og ferdigheter i å bruke strategier når du

leser tekster i en viss hensikt”. Leseren spiller en aktiv rolle i lesingen ved å sammenstille informasjon, fylle inn hull i teksten og skape makrostrukturer

• Kunnskap om språk, struktur og innhold ( PISA 2009):• Identifisere viktig informasjon• Bruke tidligere tekstinformasjon• Hente og bruke kunnskap fra langtidsminnet• Velge riktig leseprosess for oppgavene og å bruke

tekstinnholdet videre i nye sammenhenger

Dan Willingham, Youtube

3 ProductConstruct of reading

• Tekstforståelsen og meningspotensialet (elevens)• Hvor godt leser eleven (target language use situation)• Hvor effektivt leser leseren en tekst i en spesiell hensikt

• Construct of reading ( hva består lesing i)• Construct of test ( hva er hensikten med lesingen?)

Construct of testKommer fra en teori om lesing som realiseres gjennom: teksten du velger, oppgavene du gir, forståelsen det innebærer og hvordan du vurderer produktet til slutt. COE, Europarådet

Skal språket testes

(språktest)?

4 Behaviours and attitudes

• Reading literacy behaviours I fremmedspråk kan ikke elevene bruke sine L1 lesestrategier i særlig grad før de har nådd et nivå hvor de fungerer språklig. Nivået for bruk av strategier avhenger av kunnskaper og tekstens tema.

• Reading literacy attitudesLeserens holdning og interesse for teksten er avgjørende for leseforståelsen. Mange er nervøse før en test.

• Har tydelige interesseområder og favorittemner eller lesestoff (interest);

• De verdsetter å ha kontroll over lesingen sin, og de tar selv initiativ til å lese (autonomy);

• De har et sosialt nettverk for å utvikle sine kompetanser og dele sine kunnskaper og erfaringer (social disposition);

• De leser ofte og bredt (behaviour).

p. 71 PISA 2009

Mål for leseopplæringen!

Ny forskning viser at engasjerte lesere:

5 Assessment

Hva kan gode lesere gjøre som svake lesere ikke kan?Hvilke stadier går leseren igjennom i fremmedspråk?

VFL av leseprosessen! 2010

•Europarådet COE•American Council for the Teaching of Foreign Language•Australian Second Language Proficiency Ratings•Association of Language Testers in Europe ALTETheories, but not empirically grounded ideas

Construct of reading (North COE) mastery

Strategic competence – can adapt style and speed of reading to different texts and purposes

Linguistic competence – can read with a large degree of independence, using appropriate reference sources effectively

Discourse competence –can distinguish in detail the various part of the treatment of a theme and understand their interrelations

Sociolinguistic competence – can understand a vide variety of slang and pertinent references. Can appreciate humour and subtle or culturedependent nuances of meaning or style.

Construct of text• Lexis, ord i teksten ( viktigste elementet)• Innhold ( skjema, knytte gammel til ny kunnskap/ abstrakt-konkret

innhold/ kjent-ukjent innhold) - kunnskap

• Medium hvor teksten forekommer - kontekst

• Teksttyper (faktatekster litterære tekster ;åpnere svar). Kjente sjangere er letter å lese enn ukjente osv. Korte versus lengre tekster - sjanger

• Tekstens indre organisering ( hjelper leseren. Cohesion ikke så viktig)• Tekstens tone, stemning og forfatterens hensikt med teksten står

sentralt• Setningsstrukturer ( ingen effekt å forenkle strukturen i tester, bruk

autentisk tekst fremfor konstruerte tekster)• Typografi, layout, verbal og ikke verbal tekst ( bildebruk)

Construct of test

• Ord gjenkjenning – automatisering ( tidsfaktoren)• Tekstmengde – hastighet (tidsfaktoren)• Syntese og evaluering av innholdet• Metakognisjon ( har sammenheng med leseferdighet)

• Bakgrunnskunnskap vurderes i testen dersom det er et mål, ellers ikke

• Metalingvistikk (L1) vurderes dersom elevene er på et høyere språklig nivå (språktest- grammatikk)

• Lesestrategier ( L1) vurderes i testen dersom elevene er på et høyere språklig nivå (er en generell kompetanse)

Construct of taskHensikten (purpose) med tekstlesingen kan gjerne gis

som instruksjon:• Ex. In this activity you will practise scanning the

information in the text in order to find specific information

• Ex. The purpose of this activity is to encourage you to look at how the passage has been organized into sections.

• Ex. This activity is designed to help you explore the characters in the extract and the techniques of characterization used by the author p. 328

Test design

Formell – Vurdering av LesingMultiple choice:Cloze test:Ordering taskMatching taskEditing testShort answers testFree recall test (L1 always)Real life method ( text and action)

First Certificate of Englsih

Spørsmål til teksten

12 spørsmål pr tekst:• Multiple choice (50%) 1 poeng (4

alternativer)• Half constructed response item format 50%

• Kortspørsmål (5 min) 1-2 poeng• Langspørsmål (10 min) 3 poeng

http://www.pearsonlongman.com/ae/marketing/sfesl/practicereading.html

Longman

Spørsmål til teksten25-29 spørsmål pr test (B2):• Del 1 før teksten: multiple choice 6-7 stk med fire valg• Del 2 etter tekst: multiple choice 6-7 stk med fire valg • Del 3 tekst: avsnittene er flyttet om, finn rekkefølgen • Del 4 tekst: 13-15 multiple matching texts depending

on textTekstlengde 350-750 ord= 1900-2300 ord totalt=75 min.

First Certificate Englsih

VurderingUFORMELL Vurdering For Læring

Group reviewIndividual interviewOpen questionsShort discussionsCasual conversationsTalk with learners about progressReading aloudCheck reading speedAnswering questions on a passageGap filling exerciseLogg

Predict content+ jutify (process)Critical reading + jusifySelf assessment

Hva fører tekstoppgavene til?

Noen råd om tekster • Sørg for at instrukser, rubrikker og lignende. Har et språk

som alle forstår. • Finn tekster som har et innhold/kultur som er like kjent eller

ukjent for alle testtakere. Finn tekster fra L1 situasjoner som forekommer ofte. (Blogginnlegg, e-post…all inclusive)

• Bruk autentiske tekster. Unngå å endre tekstene, det fører ikke til bedre leseforståelse og er ikke reell lesing. Oppgi eventuelt ord, nøkkelord, indiker kontekst (bilder, definisjoner, tabeller som støtter innholdet)

• Skill mellom metakognisjon (tekstforståelse) og metalingvistikk (grammatikk) som ikke sier noe om tekstforståelse.

Noen råd om tekster• Leseferdighet overføres fra L1 først ved en viss språklig

L2 ferdighet ( 95% /5000 ord). Tema, språket, bakgrunnskunnskap og oppgavetype avgjør vanskegrad.

• Vokabularforståelse er den beste indikatoren for leseforståelse – tidsfaktor

• Finn oppgaver som knyttes til virkelighetsnære situasjoner på rett nivå. Velg en av fem prosesser med sine særegne prosesser, mål og resultat.

• Motivasjon og følelser: finn tekster som skaper positive følelser og svar med positiv affektiv verdi ( ikke negativ)

Noen råd om tekster• Lesere reflekterer forskjellig i forhold til litterære

tekster ( personlige åpne svar) og i forhold til faktatekster (holdninger, system). Tester bør avspeile dette.

• Forfatterens hensikt med teksten, tonen i teksten og stemningen i teksten er viktige elementer i tekstforståelse Speatitt 72

• Vurder: print, font, layout etc. slik det normalt forekommer i tekst

• Tekstens lengde må vurderes i forhold til ”purpose” – tidsbegrensing?

PISA 2009 reading literacy

The PISA 2009 definition of reading adds engagement in reading as an integral part of reading literacy:

Reading literacy is understanding, using, reflecting on and engaging with written texts, in order to achieve one’s goals, to develop one’s knowledge and potential, and to participate in society.

Konklusjon

• Det finnes ingen lesetester for fremmedspråk som tester separate ferdigheter og som viser hva eleven kan og ikke kan i leseprosessen.

• Vi må teste holistisk. Alderson JC. • Vi mangler begreper som definerer og

skiller lesestrategier (process) fra leseferdigheter ( product) etc.

PISA tabell 1.5 s. 44The PISA reading literacy assessment is built on three major task

characteristics: • situation –the range of broad contexts or purposes for which

reading takes place; (Domener)• text – the range of material that is read;(4 distinctions,

navigation tools, environment)• aspect – the cognitive approach that determines how readers

engage with a text. (mentale strategier)All three contribute to ensuring broad coverage of the domain. In

PISA, features of the text and aspect variables (but not of the situation variable) are also manipulated to influence the difficulty of a task.

PISA 2009• Ferdigheter elevene må tilegne seg• Prosesser de må utføre• Kontekst for kunnskap og ferdigheter de skal utføre

There is evidence that skills relating to engagement and metacognition can be taught. Interest in measuring both metacognition and engagement as part of PISA 2009 therefore assumes that results can yield information that will be highly relevant to policy makers and that can also influence the practice of reading and learning and ultimately levels of reading proficiency.

Print / electronic reading

While many of the skills required for print and electronic reading are similar, electronic reading demands that new emphases and strategies be added to the repertoires of readers. Gathering information on the Internet requires skimming and scanning through large amounts of material and immediately evaluating its credibility. Critical thinking, therefore, has become more important than ever in reading literacy (Halpern, 1989; Shetzer & Warschauer, 2000; Warschauer, 1999). Warschauer concludes that overcoming the “digital divide” is not only a matter of achieving online access, but also of enhancing people’s abilities to integrate, evaluate and communicate information.

PISA - Reading tasks• For example, a reader may be taught to generate

questions about a text as it is read. These questions are of the why, what, how, when, or where variety.

• By generating such questions and trying to answer them, the reader processes the text more actively.

• Other strategies relevant to different purposes of reading are various forms of highlighting and summing up important text information (identifying main ideas); frequent comprehension monitoring and self-checking; and a repertoire of approaches for dealing with text difficulties (clarifying).

II

DIDAKTIKK

Kognitiv mesterlære

Reading literacy

Bruk så mange tekster, oppgaver, tema og testmetoder som mulig i så mange situasjoner som mulig.

Tekst- leseprosess- leseprodukt

Samhandling og

informasjon

Kunnskaps- utvikling og refleksjon

Menings- danning og over-talelse

Handlinger og formål

Avslutt fremvisningen

Innkodings-

kompetanser

Skriftlig mediering Kunn-

skaps- lagring og struktur-ering

Konstruk- sjon av tekstverdener (fantasi- el. virtuelle verdener, teorier)

Identitets- danning og selvrefleksjon, (metakom- munikasjon og egen- vurdering)

SkriveprosesserIdeutvikling

Skriving av utkast

Respons

BearbeidingPubliseringOppfølging

Skrive-kompetanser rbf - 2004

57

Samhandle, kommunisere, informere, presentere og holde kontakt med andre

Reflektere over personlige erfaringer, tanker og følelser; vurdere og reflektere over eget arbeid

Bruke skrift som støtte for kognitive operasjoner (å bevare informasjon, å huske, å organisere materiale)

Beskrive, fortelle om, undersøke, utforske, diskutere,

analysere, forklare, tolke, reflektere, resonnere

Fortelle, finne på, skape, underholde og teoretisere

Vurdere og uttrykke meninger, argumentere, drøfte, tilrå og overtale

Litteratur

• http://timssandpirls.bc.edu/pirls2011/framework.html PIRLS

• Europarådet COE PISA 2006, 2009, 2010• Assessing Writing –J Charles Alderson.

Cambridge University Press.