lernet workshop 18.-19.09.03 innovative cbt-architektur im internet f ü r den eib - ergebnisse der...
TRANSCRIPT
![Page 1: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/1.jpg)
LERNET Workshop 18.-19.09.03
Innovative CBT-Architektur im Internet für den EIB
- Ergebnisse der Evaluation -
OFFISOldenburger Forschungs- und
Entwicklungsinstitut für Informatik-Werkzeuge und –Systeme e. V.
Prof. Dr. Claus MöbusJ. Feindt, C. Janßen, S. Sölbrandt, H.-J. Thole,
Jens Krefeldt, Holger de Vries
![Page 2: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/2.jpg)
2Ergebnisse der Evaluation
Inhalt
Übersicht I-can-EIB
Evaluationsobjekt: I-can-EIB Avatar
Evaluationsdesign: Pre-Post-Test
Statistische Auswertung
Ergebnisse und Konsequenzen
![Page 3: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/3.jpg)
3Ergebnisse der Evaluation
Übersicht I-can-EIB
Avatar3D-Chat
TreeTaggerTopicMap
FAQ-Liste
Frage-Baukasten
(+Hilfe-System)
Natürlichsprachliche Eingabe
(+Sprachausgabe)
![Page 4: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/4.jpg)
4Ergebnisse der Evaluation
Avatar
Avatar-Animation mit Sprachausgabe
![Page 5: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/5.jpg)
5Ergebnisse der Evaluation
Avatar
Interface
• Java API• Javascript API
Animations- Editor
• Gestik, Mimik• Emotion
Visual3D- Editor
• Export/Import standardisierter 3D-Repräsentationsformate• Modifizierung des Aussehens
Speech
• WebSpeech API (Logox)
![Page 6: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/6.jpg)
6Ergebnisse der Evaluation
Attribute: aktiv bedrängend … nervös
Pre-Post-Test Design
idealer menschlicher Berater
idealer Avatar
I-can-EIB-Berater
Pre-Test Post-Test
Attribute: aktiv bedrängend … nervös
Attribute: aktiv bedrängend … nervös
Attribute: aktiv bedrängend … nervös
idealer menschlicher Berater
idealer Avatar
I-can-EIB-Berater
Attribute: aktiv bedrängend … nervös
Attribute: aktiv bedrängend … nervös
t-Test für abhängige Stichproben
t-Test für unabhängige Stichproben
![Page 7: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/7.jpg)
7Ergebnisse der Evaluation
Vergleich der Mittelwerte Pre-Test:t-Test für unabhängige Stichproben
Signifikante Abweichungen der Mittelwerte zwischen IM-IA:---
Signifikante Abweichungen der Mittelwerte zwischen IM-ICE:motiviert p=0,02868begeistert p=0,02351
Signifikante Abweichungen der Mittelwerte zwischen IA-ICE:---
![Page 8: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/8.jpg)
8Ergebnisse der Evaluation
Vergleich der Mittelwerte Post-Test:t-Test für unabhängige Stichproben
keine signifikanten Abweichungen
![Page 9: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/9.jpg)
9Ergebnisse der Evaluation
t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer
menschlicher Berater“
Signifikante Abweichungen
möchte ihn wieder sehen p=0,00366motiviert p=0,05109wachsam p=0,0489streng p=0,0377
![Page 10: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/10.jpg)
10Ergebnisse der Evaluation
t-Test für abhängige Stichproben:Pre-Post-Vergleich „Idealer Avatar“
Signifikante Abweichungen
interessiert p=0,01746aufmerksam p=0,00375wachsam p=0,01397
![Page 11: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/11.jpg)
11Ergebnisse der Evaluation
t-Test für abhängige Stichproben:Pre-Post-Vergleich „I-can-EIB-Avatar“
keine signifikanten Abweichungen
![Page 12: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/12.jpg)
12Ergebnisse der Evaluation
Pre-Test: Offene Fragen
1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll?
• keine/gar nicht• Beratung• Hilfethemen• Frage-Antwort-Systeme• neue/schwierige Themen• …
2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten?
• egal• gut• schlicht• zurückhaltend und visuell ansprechend• ruhig und sachlich• „na ja“• …
3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten?
• bringt mich nicht weiter• wichtig• gut• gut, solange er nicht zu aufdringlich
wird• …
4. Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort.
• ja, für Hilfe• nein, ich arbeite mich selbst durch
Programme und greife auf Hilfetexte zurück
• ja, für schnelle Unterstützung bei Fehlbedienungen
• ja, aber nur auf Abruf• …
![Page 13: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/13.jpg)
13Ergebnisse der Evaluation
Post-Test: Offene Fragen
1. In welchen Themenbereichen halten Sie den Einsatz von virtuellen Assistenten für sinnvoll?
• egal• gar nicht• Beratung• Hilfethemen• …
2. Wie beurteilen Sie das Verhalten und das Aussehen des virtuellen Assistenten?
• langweilig• gut• geschmacklos• bescheiden• schlicht• visuell ansprechend, wie Office XP• normal, nicht übertrieben• …
3. Wie bewerten Sie die Effizienz bzw. Effektivität des virtuellen Assistenten?
• als Hilfssystem gut• gut, wenn er Tipps gibt• ein direkter Ansprechpartner wäre mir
lieber• …
4. Ist Ihnen die Gegenwart eines virtuellen Assistenten recht? Bitte begründen Sie die Antwort.
• ja, bei allen Themen• ja, als Hilfesystem• zur Fragestellung wünschenswert• ja, in schwierigen Themenbereichen• nein, er sollte lediglich durch
Fragestellung aktivierbar sein• …
![Page 14: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/14.jpg)
14Ergebnisse der Evaluation
Konsequenzen
Avatar
3D-Chat
TreeTaggerTopicMap
FAQ-Liste
Frage-Baukasten
(+Hilfe-System)
Natürlichsprachliche Eingabe
(+Sprachausgabe)
Freie Gestaltung
Anfangsberatung
Wissen für Anfangsberatung und Anfangsbewertung
themen- und rollenspezifische Räume mit Projektionsflächen
![Page 15: LERNET Workshop 18.-19.09.03 Innovative CBT-Architektur im Internet f ü r den EIB - Ergebnisse der Evaluation - OFFIS Oldenburger Forschungs- und Entwicklungsinstitut](https://reader036.vdocuments.mx/reader036/viewer/2022070310/55204d6349795902118b919b/html5/thumbnails/15.jpg)
15Ergebnisse der Evaluation
Vielen Dank für Ihre Aufmerksamkeit ...