ww

w.g

oeth

e-univ

ersitaet.d

e

Kriteriumsorientiertes adaptives Testen an der Hochschule (KAT-HS)Andreas Frey, Aron Fink & Christian Spoden

Konzept zur Optimierung von Hochschulklausuren

1Operationalisierung

kompetenzorientierter Lernziele

2Kriteriumsorientierte Testwertinterpretation

3Verlinkung zwischen

Messzeitpunkten

4 Erhöhung und

Angleichung der Messpräzision

Ansatzpunkt: Substantielle Verbesserung aktueller Hochschulklausuren durch zielorientierte Verknüpfung des wissenschaftlichen Forschungsstandes aus den Bereichen Psychometrie, Educational Measurement und Pädagogische Psychologie.

Methodenforschung

Kontinuierliche Kalibrierungsstrategie (KKS) zur Kalibrierung von Itempools adaptiver Hochschulklausuren

im laufenden Lehrbetrieb

Materialien zur Dissemination der Projektergebnisse

1. Select link items for test cycle t

3. IRT-scaling using the responses of test cycle t

2. Administer test cycle t

4. Scale transformation of link item estimates of test cycle t

5. Check link items used in test cycle tfor IPD

Link itemswith

significantIPD?

Exclude drifted link items andestimate their parameters freely in

step 6a/6b.

6b. Fixed item parameter calibrationof test cycles 1,…,t

yes

no

7. Ability estimation for test takersfrom test cycle t

Less than twolink itemswithout

significantIPD?

Final item parameterestimates for test

cycle t

Final abilityestimates for test

cycle t

Undrifted link item parameter estimates

from test cycle t-1

6a. Concurrent calibration of testcycles 1,…,t

yes no Link item parameterestimates from test

cycle t

Transformed link Item parameter

estimates from testcycle t

Link item parameter

estimates fromtest cycle t-1

Zugehörige Publikationen:• Kontinuierliche Kalibrierungsstrategie (Fink, Born, Spoden & Frey, 2018)• Simulation zu Equating in der KKS (Born, Fink, Spoden & Frey, 2019)• Kontrolle von Itempositionseffekten in ILSAs (Frey & Fink, in Vorb.)

Abbildung 2: Flussdiagramm der KKS. Aus: Fink, Born, Spoden & Frey (2018, S. 332).

Abbildung 1: Stichproben- und Itempoolentwicklung in konventionellen Testprogrammen und unter Nutzung der KKS.

020406080

100120140160180

Neu

e Ite

ms

Testzyklus

Konventionell KKS

0

500

1000

1500

2000

2500

Stic

hpro

beng

röße

Testzyklus

Konventionell KKS

Implementationsforschung

Studierende- Studie 1: Online-Studie zum emotionalen Erleben vor der

Klausurbearbeitung in Abhängigkeit verschiedener Möglichkeiten zur Revision von Antworten (N = 1279)

Abbildung 2: Ergebnisse für die acht Versuchsbedingungen PBT = papierbasierter Test, CBT_FullReview = computerbasierterTest mit kompletter Item-Revision, CBT_ForcedCh = CBT ohne Item-Revision, CAT_FullReview = computerbasierter adaptiverTest mit kompletter Item-Revision, CAT_Salt = CAT mit Salt-Methode (Cui, Liu, He, & Chen, 2018), CAT_ForcedCh. = CATohne Item-Revision, CAT_ItemPocket = CAT mit Item Pocket-Methode (Han, 2013), CAT_BlockReview = CAT mit Block-Methode (Vispoel, Hendrickson, & Bleiler, 2000). Nutzung eines Vignettenansatzes. Within-Design mit je zwei Messungen undCounterbalancierung. Aus: Frey (2019).

- Studie 2: Studie zu Kontrollerleben & emotionalem Erleben während einer teiladaptiven Klausur (N = 82)

- Grundlage: Kontroll-Wert-Theorie der Leistungsemotionen (Pekrun, Frenzel, Götz & Perry, 2007)

Lehrende- Studie 3: Bundesweite Online-Studie zu Einflussfaktoren auf die

Intention zur Nutzung adaptiver E-Klausuren (N = 993)- Grundlage: Technologieakzeptanzmodell (TAM; Davis 1989)

Modellfit:χ² (df)= 5122.318 (3324),CFI = .947TLI = .948, SRMR = .095RSMEA = .033 (90%KI .031/.35)

Computerbez.Selbstw.

Computer-ängstl.

Medien-nutzung in

Lehrveranst.

GünstigeRahmenbed.

Wahrg. Nützlichkeit

Subjektive Norm

Intention zur Nutzung

-.501*/ -.482*

.453*/

.428*

.241*/ .259* .782*/.879*

.521*/

.238*

Abbildung 3: Multigruppen-Strukturmodell zur Vorhersage der Intention zur Nutzung von E-Klausuren (Nekl = 494)/adaptiven E-Klausuren (Nad = 498). *p < .01. Aus: Fink, Spoden, Born, & Frey (2019).

Studiendekane und IT-Verantwortliche- Studie 4: Interviewstudie zu Hinderungsgründen

Buchpublikation Konzept Onlineportal Klausursoftware Workshop (Präsenz + VoD)