presentatie nationaal congres duits 'kijk- en luistertoetsen' und der ger

Louisa ReumermanPhilipp von Samson-Himmelstjerna

„Kijk- en luistertoetsen” und der GER

Nationaal Congres Duits

• „Kijk- en luistertoetsen“ (KLT) und der GER: Einführung in die Problematik

• Theoretischer Rahmen• Methode• Resultate• Schlussfolgerungen • Zeit für Fragen• Literatur

Programm

• Objektive Niveaubestimmung nötig• „Gemeinsamer Europäischer Referenzrahmen“

(GER)• Koppelingsonderzoek 2005• Standaardsetting 2013

Problem Unterschiedliche Einschätzungen des Niveaus

Problem (1)

Mögliche Ursache

Kann-Beschreibungen zu abstrakt

Beispiel

Kann-Beschreibung Hörverstehen (B2)

„Ik kan een langer betoog en lezingen begrijpen en zelfs complexe

redeneringen volgen, wanneer het onderwerp redelijk vertrouwd is.

Ik kan de meeste nieuws- en actualiteitenprogramma’s op de tv

begrijpen. Ik kan het grootste deel van films in standaardtaal

begrijpen.”

(Nederlandse Taalunie, 2008: 28)

Problem (2)

Mögliche Ursache

Kann-Beschreibungen zu abstrakt

Beispiel

Kann-Beschreibung Hörverstehen (B2)

„Ik kan een langer betoog en lezingen begrijpen en zelfs

complexe redeneringen volgen, wanneer het onderwerp redelijk

vertrouwd is. Ik kan de meeste nieuws- en

actualiteitenprogramma’s op de tv begrijpen. Ik kan het grootste

deel van films in standaardtaal

begrijpen.”

(Nederlandse Taalunie, 2008: 28)

Problem (3)

Verschiedene Versuche zur Lösung des Problems

Konkretisierung der Beschreibungen

1. Beispiel

Komponente Textstruktur (Hörverstehen C1)

„Beheerst verschillende ordeningspatronen, verbindingswoorden en

cohesie bevorderende elementen bij het verstaan van complexe

luisterteksten met lange samengestelde zinnen. Herkent

argumentaties en kan ze beoordelen. Kan ook luisterteksten begrijpen

waarin de samenhang impliciet is.”

(Meestringa & de Vries, 2010: 16)

Problem (4)

Verschiedene Versuche zur Lösung des Problems

Konkretisierung der Beschreibungen

1. Beispiel

Komponente Textstruktur (Hörverstehen C1)

„Beheerst verschillende ordeningspatronen, verbindingswoorden en

cohesie bevorderende elementen bij het verstaan van complexe

luisterteksten met lange samengestelde zinnen. Herkent

argumentaties en kan ze beoordelen. Kan ook luisterteksten begrijpen

waarin de samenhang impliciet is.”

(Meestringa & de Vries, 2010: 16)

Problem (5)

Verschiedene Versuche zur Lösung des ProblemsKonkretisierung der Beschreibungen

2. BeispielAdvies-grammaticaleerlijnen Duits en Frans (Meijer, 2006)

3. BeispielProfile Deutsch (Glaboniat et al., 2005)

Problem (6)

Trotz dieses Materials bleibt das Problem

Mögliche LösungQuantitative Spezifizierung der Kann-Beschreibungen

Problem (7)

Forschungsfrage

„In hoeverre is het mogelijk om de Duitse kijk- en luistertoetsen met behulp van een kwantitatieve linguïstische analyse aan het Europese Referentiekader te koppelen?”

Problem (8)

Komplexität

schwierig (subjektiv) vs. komplex (objektiv) (Lindström, 2008: 221-222)

relativ (individuell) vs. absolut (objektiv) (Szmrecsanyi & Kortmann, 2012: 10)

viele Theorien und Modelle

Beispiele für erhöhte Komplexität in unserem Kontext

• Verschachtelte Sätze

• Implizite Satzstrukturen

• Undurchsichtige Verbindung zwischen Form und Bedeutung (DeKeyser 2005: 5-6)

• Unklare Referenzen

Theorie (1)

Komplexität nach dem Goethe-Institut

„Ein besonders komplexer Satzbau verbraucht Aufmerksamkeitsressourcen, die ansonsten für die Verarbeitung inhaltlicher Aspekte zur Verfügung stehen könnten; Beispiele sind lange Sätze mit mehreren Nebensätzen, diskontinuierliche Konstituenten, Mehrfachnegation, mehrdeutige Bezugsbereiche, die Verwendung von Anaphora und deiktischen Ausdrücken ohne eindeutige Vorerwähnung (Antezedenz) oder klare Bezüge (Referenz).“ (Goethe-Institut, 2001: §7.3.2.2)

Theorie (2)

Konzeptionelle Mündlichkeit/Schriftlichkeit(Koch & Oesterreicher, 1989)

medial: Material vs. konzeptionell: Sprachgebrauch

KLT: medial mündlich, konzeptionell mündlich und teilweise schriftlich

Theorie (3)

Aspekte gesprochener Sprache• Flüchtigkeit / Vergänglichkeit• Irreversibilität• Synchronisation

(Auer, 2009: 2-4)

• Produktionsfehler, Versprecher• Interjektionen, Wort- und Satzabbrüche,

Umformulierungen, Pausen

Theorie (4)

Beispiele für Elemente gesprochener Sprache

• Referenz-Aussage-Struktur

„Diese ganzen Knöpfe hier, wie lange braucht man, um sowas zu

beherrschen?“ (HAVO 2005 V1)

• Apokoinukonstruktion

„Normalerweise haben wir beim Spielplatz zwischen 1 und 5 Punkten

zur Verfügung und ich würde sagen, der ist mit einem Punkt ist der

gut bedient.“ (VMBO 2012 KGT V1)

• Wortschatz, Kontraktion, Elision

„Und das ist dann immer so'n bisschen Gefrickel.“

(HAVO 2005 V1)

„Die Küche war versifft, dafür gab’s `ne Neue.“

(HAVO 2012 V2)

Theorie (5)

• Quantitative Analyse aller Niveaus• Material

− Kijk- en Luistertoetsen (KLT) 2004, 2005, 2012, 2013

− Goethe-Tests (online)• Parameter

− Durchschnittliche Wort-, Satz- und Textlänge− Dauer des Fragments, Sprechgeschwindigkeit− Prozentsatz Signalwörter

(eigene Liste, Anzahl: 35)

Methode (1)

Beispiele für die Analyse

1. VWO 2013 V2 Nachtcafé

2. HAVO 2005 V1 Arbeitsplatz TV

3. VMBO kb-gt 2012 V1 Campingplätze

4. Goethe-Test B1 (E)

Methode (2)

https://www.goethe.de/de/spr/kup/prf/prf/gzb1/ueb.html

1. Beispiel: VWO 2013 V2

Methode (3)

2. Beispiel: HAVO 2005 V1

Methode (4)

3. Beispiel: VMBO kb-gt 2012 V1

Methode (5)

4. Beispiel: GOETHE B1 (E)

Methode (6)

Vorgehen: statistische Analyse der Durchschnittswerte

• Messung der Signifikanz zwischen den Werten (signifikant bei

einem Signifikanzniveau unter 0.05)

Teil 1: Signifikanz der Durchschnittswerte (KLT)

Teil 2: Korrelation zwischen KLT und Goethe-Tests

Parameter

• Anzahl Zeichen, Wörter und Sätze pro Fragment

Wort- und Satzlänge

• Dauer des Fragments Sprechtempo

• Anzahl Signalwörter Prozentsatz

Resultate (1)

Teil 1 Durchschnittswerte KLT

Resultate (2)

Wortlänge (Buchstaben pro Wort)

Satzlänge (Wörter pro Satz)

Sprechtempo (Wörter pro Sekunde)

Prozentsatz Signalwörter

VWO 5,60 16,50 2,42 7,68

HAVO 5,50 16,12 2,51 7,31

VMBO 5,29 14,17 2,53 7,10

Teil 1Signifikanz Durchschnittswerte KLT = signifikant

Resultate (3)





VWO / HAVO - - - -

HAVO / VMBO

(0.001) (0.000) - -

VWO / VMBO - (0.005) (0.029) -

Teil 2Korrelation KLT / Goethe-TestsDurchschnittswerte

Resultate (4)





VWO 5,60 16,50 2,42 7,68

HAVO 5,50 16,12 2,51 7,31

VMBO 5,29 14,17 2,53 7,10

C2 5,78 15,45 2,36 7,58

C1 5,39 15,27 2,41 7,47

B2 5,70 13,23 2,09 5,76

B1 5,13 12,09 2,54 7,08

A2 5,19 9,71 2,47 4,01

A1 4,95 6,53 2,71 1,99

Teil 2Korrelation KLT / Goethe-Tests (25%-Regel)Differenzwerte Goethe-Tests – VWO (rot=signifikant, grau=kleinste Differenz)

Resultate (5)





A1 0,647 9,974 0,287 5,688

A2 0,41 6,796 0,0497 3,674

B1 0,475 4,416 0,115 0,606

B2 0,096 3,276 0,335 1,922

C1 0,207 1,234 0,01 0,218

C2 0,174 1,051 0,061 0,106

Teil 2Korrelation KLT / Goethe-Tests (25%-Regel) Differenzwerte Goethe-Tests – HAVO (rot=signifikant, grau=kleinste Differenz)

Resultate (6)





A1 0,546 9,591 0,202 5,313

A2 0,309 6,41 0,035 3,298

B1 0,374 4,033 0,030 0,231

B2 0,198 2,893 0,421 1,547

C1 0,105 0,851 0,095 0,158

C2 0,275 0,668 0,146 0,27

Teil 2Korrelation KLT / Goethe-Tests (25%-Regel):Differenzwerte Goethe-Tests – VMBO (rot=signifikant, grau=kleinste Differenz)

Resultate (7)





A1 0,339 7,638 0,182 5,108

A2 0,103 4,459 0,055 3,093

B1 0,167 2,08 0,011 0,026

B2 0,404 0,94 0,44 1,342

C1 0,101 1,102 0,115 0,363

C2 0,481 1,285 0,165 0,474

Grobe Einteilung pro Schulniveau / GER-Niveau(grün=eindeutig, rot=nicht eindeutig)

Schlussfolgerung (1)





Gesamt-Niveau

VWO B2 C1/C2 C2 B1/C1/C2 C2

HAVO (C2) ? C1/C2 B1 B1 B1/C2

VMBO A2/C1 B2/C1/C2 A2/B1 B1 A2/B1/C1

Niveau-Einteilung• Schwierig zu interpretieren• VWO deutlich C2• HAVO zwischen B1 und C2• VMBO zwischen A2 und C1 (aber: BB + KB + GT!)• Vergleich KLT/ Standaardsetting/ Koppelingsonderzoek:


KLT / Goethe Standaard-setting Koppelings-onderzoek

VWO C2 C1 (+ C2) B2

HAVO B1/C2 B2 (+ C1) B1

VMBO A2/C1/C2 B1 (+ B2) A2 (+ B1)

Parameter pro Niveau: Wortlänge• Abnahme pro Niveau bei den KLT

(signifikant: HAVO/VMBO)• Korrelation GER-Niveau / Schulniveau:

schwierig zu interpretieren

SchlussfolgerungWortlänge spielt keine allzu große Rolle bei der Niveau-Einteilung.


Parameter pro Niveau: Satzlänge• Deutliche Abnahme pro Niveau bei den KLT

(signifikant: HAVO/VMBO und VWO/VMBO)• Korrelation GER-Niveau / Schulniveau:

Leichte Abnahme GER-Niveau pro Schulniveau

SchlussfolgerungJe höher das Niveau, desto länger sind die Sätze.


Parameter pro Niveau: Sprechtempo• Deutliche Zunahme pro Niveau bei den KLT

(signifikant: VWO/VMBO)• Korrelation GER-Niveau / Schulniveau:

Deutliche Abnahme GER-Niveau pro Schulniveau

SchlussfolgerungJe niedriger das Niveau, desto schneller wird gesprochen. Möglicher Grund: gesprochene bzw. Umgangssprache.


Parameter pro Niveau: Prozentsatz Signalwörter• Abnahme pro Niveau bei den KLT, allerdings nicht

signifikant• Korrelation GER-Niveau / Schulniveau:

Keine großen Veränderungen pro Schulniveau

SchlussfolgerungDer Prozentsatz der Signalwörter spielt keine Rolle bei der Niveau-Einteilung.


Antwort auf die Forschungsfrage

„In hoeverre is het mogelijk om de Duitse kijk- en luistertoetsen met behulp van een kwantitatieve linguïstische analyse aan het Europese Referentiekader te koppelen?”• Eine quantitative linguistische Analyse ist geeignet.• Eine Kopplung an den GER ist möglich, allerdings

nicht immer eindeutig.• Mithilfe der untersuchten Parameter lässt sich eine

leichte Niveau-Einteilung vornehmen.


Einschränkungen• Eher qualitative Aspekte (z.B. Satzstruktur) wurden

nicht berücksichtigt.• Mit nur vier Parametern kann man noch keine

definitiven Aussagen machen.• Die Datensammlung (vor allem der Goethe-Tests)

müsste größer sein.• Es wurde kein Unterschied zwischen den

verschiedenen VMBO-Niveaus (bb/ kb/ gt) gemacht.


Tipps• Gesprochene Sprache im Unterricht

berücksichtigen.• Authentisches Audio- und Videomaterial verwenden

(YouTube, Fernsehsendungen, …)• Schüler transkribieren lassen.


Vielen Dank für Ihre Aufmerksamkeit!

Gibt es noch Fragen oder Anmerkungen?

Zeit für Fragen

• Auer, P. (2009). On-line syntax: Thoughts on the temporality of spoken language. Language Sciences, 31, nr. 1, 1-13.

• Eindtermen VO en ERK (voor havo/vwo en vmbo) http://www.erk.nl/docent/streefniveaus/havo/ en http://www.erk.nl/docent/streefniveaus/vmbo/ (geraadpleegd op 25/02/2015).

• DeKeyser, R.M. (2005). What makes learning second-language grammar difficult? A review of issues. Language Learning, 55, Supplement 1, 1-25.

• Feskens, R., Keuning, J., Til, A. van & Verheyen, R. (2014). Prestatiestandaarden voor het ERK in het eindexamenjaar: Een internationaal ijkingsonderzoek. Arnhem: Cito.

• Glaboniat, M., Müller, M., Rusch, P. & Wertenschlag, L. (2005). Profile Deutsch: gemeinsamer europäischer Referenzrahmen: Lernzielbestimmungen; Kannbeschreibungen; Kommunikative Mittel; Niveau A1-A2. B1-B2. C1-C2. Berlin: Langenscheidt.

• Goethe-Institut. (2001). Gemeinsamer europäischer Referenzrahmen für Sprachen: Lernen, lehren, beurteilen. Online versie via http://www.goethe.de/z/50/commeuro/7030202.htm (geraadpleegd op 16/02/2015).

• Kamphuis, F., Thiel, J. van & Til, A. van. (2007). De koppeling van de Cito kijk- en luistertoetsen moderne vreemde talen aan het Europees Referentiekader. Digitaal beschikbaar via: http://toetswijzer.kennisnet.nl/html/cef/home.htm

• Koch, P. & Oesterreicher, W. (2007). Schriftlichkeit und kommunikative Distanz. Zeitschrift für germanistische Linguistik, 35, nr. 3, 346-375.

• Lindström, E. (2008). Language complexity and interlinguistic difficulty. In M. Miestamo, K. Sinnemäki & F. Karlsson (eds.), Language complexity: Typology, contact, change (pp. 217-242). Amsterdam: John Benjamins.

• Meestringa, T. & Vries, H. de. (2010). Instrumenten voor de beoordeling van taalvaardigheid voor het voortgezet onderwijs. Enschede: SLO.

• Meijer, D. (Red.). (2006). Advies-grammaticaleerlijnen Duits en Frans. Enschede: SLO.

• Nederlandse Taalunie. (2008). Gemeenschappelijk Europees Referentiekader voor Moderne Vreemde Talen: Leren, Onderwijzen, Beoordelen. Den Haag.

• Szmrecsanyi, B. & Kortmann, B. (2012). Introduction: Linguistic complexity: Second Language Acquisition, indigenization, contact. In B. Szmrecsanyi & B. Kortmann (Eds.). Linguistic complexity. Second Language Acquisition, Indigenization, Contact (pp. 6-34). Berlin: Walter de Gruyter.

Literatur

http://www.erk.nl/docent/streefniveaus/havo/

http://www.erk.nl/docent/streefniveaus/havo/

http://www.erk.nl/docent/streefniveaus/vmbo/



http://www.goethe.de/z/50/commeuro/7030202.htm

http://www.goethe.de/z/50/commeuro/7030202.htm

http://toetswijzer.kennisnet.nl/html/cef/home.htm

presentatie nationaal congres duits 'kijk- en luistertoetsen' und der ger

Education