talige toelatingseisen voor internationale … · 2018-01-08 · een presentatie geven graﬁeken...

Bart Deygers �Centrum Voor Taal & Onderwijs

TALIGE TOELATINGSEISEN VOOR INTERNATIONALE STUDENTEN IN HET HOGER ONDERWIJS

Enkele vervelende bevindingen

CONTEXT

Onderwijs is een basisrecht

“Everyone has the right to education. Education shall be free, at least in the elementary and fundamental stages […] higher education shall be equally accessible to all on the basis of merit.”

(U.N. General Assembly, 1948, Art. 26 §1)

Talige toelatingsvoorwaarden

komen overal voor

Deygers, B., Zeidler, D., Vilcu, D., & Carlsen C.H. (2017). One framework to unite them all? The use of the CEFR in European university entrance policies. Language Assessment Quarterly.


komen overal voorblijven vaak onbevraagd

(McNamara & Ryan, 2011)


Een zeker taalniveau is nodig om te kunnen deelnemen aan academisch onderwijs

B2

komen overal voorblijven vaak onbevraagdberusten op een centrale aanname

komen overal voorblijven vaak onbevraagdberusten op een centrale veronderstellinggelden meestal niet voor alle studenten


Maar onderwijs is een basisrecht

Recht op objectieve toetsenRecht op relevante toetsenRecht op positieve gevolgen

(Stein, 2016)

(Boylan, 2004; Nussbaum, 2000; Sen, 2010…)

Maar onderwijs is een basisrecht

“when students are excluded from college because they do not secure a certain grade […] we assume a serious responsibility. The least we can do is to make a scientific study of our methods and results”

(Cattell, 1905, p. 367)

Toelatingsbeleid in Vlaanderen


-  Eén Departement Onderwijs

quota


-  Eén Departement Onderwijs-  Vijf universiteiten


-  Eén Departement Onderwijs-  Vijf universiteiten-  Meest gebruikte toelatingsniveau: B2

in staat zijn om de essentie van een complexe tekst te begrijpen, vloeiend kunnen interageren met moedertaalsprekers, een duidelijke argumentatie kunnen opbouwen


-  Eén Departement Onderwijs-  Vijf universiteiten-  Meest gebruikte toelatingsniveau: B2-  B2-bewijs:

B2 test1 jaar in Nederlandstalig secundair onderwijs60 credits in Nederlandstalig hoger onderwijs


-  Eén Departement Onderwijs-  Vijf universiteiten-  Meest gebruikte toelatingsniveau: B2-  B2-bewijs-  Maar: beperkte empirische basis

“We kozen B2 omdat de KU Leuven ook B2 had”

“Onderzoek wordt vaak nogal selectief gebruikt… als we het

beleid wilden veranderen zouden we niet eerst een studie laten

uitvoeren”


Doel: Ervoor zorgen dat internationale L2 leerders succesvol kunnen deelnemen aan Nederlandstalig onderwijs

Geen diploma Nederlandstalig secundair onderwijs?

Bewijs B2-niveau

Het beleidsdoel is verdedigbaar

Enkel die studenten selecteren die een voldoende hoog niveau Nederlands hebben (B2) om de talige vereisten van de universiteit aan te kunnen.

B2 Succesvolle participatie mogelijk

Succesvolle participatie onmogelijk

Het beleidsdoel is verdedigbaar

Maar zijn de maatregelen effectief?En zijn ze rechtvaardig?

Effectiviteit

Helpen de beleidsmaatregelen om het beleidsdoel te bereiken?

Helpt elke maatregel om het gepercipieerde probleem op te lossen?

Deygers, B. & Malone, M. (in press). Language assessment literacy in university admission policies, or the dialogue that isn’t. �Language Testing.

Rechtvaardigheid

“Een toelatingsbeleid is waarschijnlijk onrechtvaardig wanneer het bewust en vermijdbaar de vrijheid van kandidaten beperkt zonder empirische of redelijke verantwoording”

Deygers, B. (2017). Just testing. Applying theories of justice to high-stakes language tests. ITL. International Journal of Applied Linguistics.Deygers, B. (2018). Fairness and social justice in English language assessment. In X. Gao, C. Davidson, & C. Leung. Springer Second International Handbook of English Language Teaching. Heidelberg & New York: Springer

DOEL VAN HET ONDERZOEK

B2 is een adequaat niveau De gebruikte tests zijn representatief De gebruikte tests zijn equivalent Vlaamse studenten slagen voor een B2 toets Tijdens het eerste jaar worden internationale L2 studenten taalvaardiger

Veronderstellingen checken

BeleidsmakersProfessorenEuropese toetsontwikkelaarsL2 students in VlVlaamse studentenL2 studenten buiten Vl

15 24 30 135 159 526

Bronnen

Kader

Kane (2011, 2013) ��

Validering nagaan of de claims die gemaakt worden op basis van een score empirisch steek houden

Fischer (2007)Beleidsevaluatie beredeneerde dialoog

Kader

Kane (2011, 2013) ��

Fischer (2007)

Toulmin (1958, 2003)��

Legitieme claims worden ondersteund door data

RESULTATEN

Veronderstelling 1

B2 is een adequaat taalniveau om te beslissen of iemand kan deelnemen aan de talige eisen van Vlaamse universiteiten

B2 Succesvolle participatie mogelijk

Succesvolle participatie onmogelijk

Deygers, B., Van den Branden, & K., Van Gorp, K. (2017). University entrance language tests: a matter of justice. Language Testing.

Veronderstelling 1

Zeker niet voor luisteren, waarschijnlijk niet voor lezen

Zwakke, niet-significante relatie tussen taaltoetsscores & academisch succes

Test1: W = 46, p = .625, r = -.115 Test2: W = 51, p = .599, r = -.120

(Cf. Ingram & Bayliss, 2007; Cho & Bridgeman, 2012 etc…)

(Eveneens: valse negatieven)

Veronderstelling 1

Sp Sc Lu Le

B2

Veronderstelling 1

Receptief > productief

B2 is onvoldoende (C1)

Geen enkele professor praat zo. Het is te proper.

De professor spreekt te vlot voor mij en te academisch […] Ik probeer te begrijpen, maar is moeilijk. Ik twijfel altijd. Wat heeft hij gezegd, wat heeft hij gezegd, vraag ik me altijd af.

Veronderstelling 1

Het verschil zit niet noodzakelijk in snelheid of woordenschat

1K-2K* 5K-7K 7K+ w/m♯ Test (N = 8) M 5.93 2.33 6.50 148.33 SD 4.43 2.52 2.78 18.04 Les (N = 12) M 6.67 1.23 10.37 103.86 SD 3.79 1.08 5.82 18.60 * % of words used in frequency band ♯mean words/minute

Veronderstelling 1

Accent 9

Uitspraak 5

Woordenschat 5

Intonatie 3

Grapjes 3

Snelheid 3

Idioom 1

Lengte les 1

Veronderstelling 1

B2 = OK

NT2 studenten: Schrijven is niet simpel, maar het lukt

Veronderstelling 1

Euh….

Zelden Angst Zelden Angst Nog niet Vaak Zelden Angst Nog niet Vaak Zelden Angst Nog niet Vaak Zelden Angst Nog niet Vaak

Veronderstelling 2

STRT & ITNA zijn representatief voor de talige eisen van Vlaamse universiteiten.


Veronderstelling 2

Academische woordenschat beheersenEen idee nauwkeurig kunnen uitdrukkenEen lange tekst kunnen samenvattenEen presentatie gevenGrafieken en tabellen beschrijvenGrammaticale correctheidImpliciete boodschap begrijpenInformatie kunnen opzoekenInzicht hebben in samenhang van een tekstLesnotities makenLogisch argumenterenVerschillende bronnen kunnen samenvattenWetenschappelijke tekst globaal begrijpenWetenschappelijke tekst in detail begrijpen

Veronderstelling 2

STRT & ITNA zijn representatief voor de talige eisen van Vlaamse universiteiten.


Enigszins, maar: Construct-irrelevantie & construct-onderrepresentatie Suprematie van het niveau

Veronderstelling 3

STRT en ITNA zijn equivalente maten van B2-taalvaardigheid

Deygers, B. (2017). University entrance language tests: examining assumed equivalence. In J. Davis, J. Norris, M. Malone, T. McKay, & Y Son (Eds.). Useful Assessment And Evaluation In Language Education. Washington, D.C.: Georgetown University Press.Deygers, B., Van Gorp, K., Demeester, T. (2017). The B2 level and the dream of a common standard. Language Assessment Quarterly.

Veronderstelling 3

24% verschillend zak/slaag-oordeel (p < .001)

Veronderstelling 3

15% verschil in slaagkans (.35 vs .50, p < .02)


Veronderstelling 3

Geen duidelijke relatie tussen vergelijkbare taken of criteria

15% verschil in slaagkans (.35 vs .50, p < .02)


Veronderstelling 4

Moedertaalsprekers halen na het secundair onderwijs het B2 niveau

Deygers, B., Van den Branden, K., Peters, E. (2017). Checking assumed proficiency: comparing L1 and L2 performance on a university entrance test. Assessing Writing, 32, 43-56.

Veronderstelling 4

MFRA for facet “Group”

Measure Model SE Infit % below cut-off Flemish 0.57 0.02 1.12 11 L2I -0.15 0.01 0.82 30 L2F -0.43 0.01 1.29 57

Vlaamse studenten:�Beste groep, maar 11% onder B2

Veronderstelling 4

Vlaamse studenten:�Beste voorspeller: woordenschat & grammatica

Wilcoxon signed-rank test: Flemish, L2F and L2H

Median Flemish & L2F Flemish & L2I L2I & L2F Fl L2F L2I W p r W p r W p r T2Ling 13 9.5 10 23275 <.000 -.64 71833 <.000 -.53 53196 <.000 -.15 T4Ling 13.5 10 11 22750 <.000 -.61 67486 <.000 -.45 53684 <.000 -.16 Cont 12.5 12 15 14825 .08 -.09 23028 <.000 -.33 62871 <.000 -.32

Veronderstelling 5

Tijdens het eerste jaar worden internationale L2 studenten taalvaardiger

Deygers, B. (in press). How institutional and interpersonal variables impact international L2 students’ language gains at university. The Modern Language Journal.

Veronderstelling 5 WRITING SPEAKING MedianT1 MedianT2 W p d MedianT1 MedianT2 W p d

Overall 17.25 19 31 0.16 -0.49 28 27 43.5 0.82 0.11

Content 7.5 8 36.5 .31 -.34 12 11 48.5 .5 .15

Clause/TU 0.28 0.25 58.5 0.54 0.41 0.41 0.38 49 0.48 0.28Words/clause 9 8.7 50 0.9 0.07 9.9 10.7 36 0.73 -0.04

Averagewordlength 1.92 1.86 66.5 0.22 0.37 1.51 1.51 39.5 0.96 -0.14academicwordlist 0.12 0.11 61 0.42 0.41 0.06 0.06 31 0.41 -0.52Lexicalrichness 56.5 57.5 52.5 0.88 0.36 38 37 41.5 0.96 -0.15

Errors/TU 0.94 0.95 52 0.9 -0.05 0.86 0.86 46 0.66 0.17

Error-freeTU/TotalTU 0.3 0.32 56 0.68 0.24 0.29 0.44 27.5 0.27 -0.4

Words/TU 11.5 11.1 52 0.91 0.01 Syll/min 104.5 133.5 22 0.11 -0.7Words 207 240 26 0.07 -0.96 #words/min 69.4 88 27 0.26 -0.62

TU 18 22 31.5 0.17 -0.52 #TU/min 5.9 7.2 33.5 0.56 -0.49

Veronderstelling 5

Study abroad Taalwinst is eerder beperkt

(Llanes et al., 2012; Serrano, 2012)

Internationale studenten zonder extra instructieTaalwinst is zo goed als onbestaand

(Storch, 2009; Knoch et al., 2015; Knoch et al., 2015)

Veronderstelling 5

Waarom?

Institutioneel-didactische frustraties

Contact met medestudenten & toegang tot L1 community

Identiteitsreconstructie

Extra factoren (financieel, netwerk, migratiestatus)

(Amuzie & Winke, 2009; Aveni, 2005; Gu & Maley 2008, Kinginger 2008; Morita, 2004)

Veronderstelling 5

Ik denk dat de mensen verwachten dat ik, ja, dat alles zou lukken. Maar ik weet het niet […] Eén keer hadden we gastcollege en het was over vertaalwetenschappen ook. En daar stelde die professor veel vragen en ik kon ze allemaal beantwoorden want ze waren allemaal over taalkunde in het Engels. En ik wist alles. En ik voelde me voor de eerste keer, amai, ik ben, ergens waar ik me thuis voel. […] Maar normaal gezien zit ik altijd in de war. Ik ben altijd zo, ja “Wat doe ik hier?”, ik snap niks.

(V, januari)

IMPLICATIES

Hoe verrassend is dit?

•  Taaltoetsen zijn niet het beste integratie-instrument•  Taaltoetsen zijn geen goede voorspeller van academisch succes•  Academische socialisatie is een moeilijk proces. Overal.•  Taalvaardigheid groeit niet vanzelf•  ERK-niveaus zijn ruim en abstract: equivalentie niet gegarandeerd•  Moedertaalsprekers zijn niet steeds academisch taalvaardig

Maar wat zegt dit over het beleid?

wat betreft effectiviteit?

wat betreft rechtvaardigheid?

Beleidseffectiviteit?

“Ik denk dat het de bedoeling is dat er gaatjes in het beleid zitten”

Beleidseffectiviteit?

Empirisch onderzoek

BeleidBudget

Ideologie

Media

Politieke partijen Eerder

beleid

Andere instellingen

Varia

Rechtvaardigheid?

Toegang van één groep mensen beperken tot een dienst die vrij toegankelijk is voor anderen, op basis van inaccurate veronderstellingen

Rechtvaardigheid?

Toegang van één groep mensen beperken tot een dienst die vrij toegankelijk is voor anderen, op basis van inaccurate veronderstellingen

Rawls, 1971Sen, 2010Dworkin, 2013Nussbaum, 2002Kane, 2013

Maar perfecte rechtvaardigheid is onbereikbaarRealistischer = onrechtvaardigheid beperken

Impact?

Gedifferentieerde voorwaarden

Extra taallessen voor begin academiejaar

Flexibele taalregeling tijdens examens

NT2 als deel van het curriculum

Meertaligheid erkennen in de les

Meer weten?��

[email protected]

talige toelatingseisen voor internationale … · 2018-01-08 · een presentatie geven graﬁeken...

Documents