act-cv: kognitive benutzermodelle interagieren direkt mit ... filekognitive modellierung die...
TRANSCRIPT
ACT-CV: Kognitive Benutzermodelleinteragieren direkt mit der Außenwelt
Marc Halbrügge1 Barbara Deml1 Brigitte A. Färber1
Stanislavs Bardins2
1Institut für ArbeitswissenschaftUniversität der Bundeswehr München
2Neurologische Klinik und PoliklinikLudwig-Maximilians-Universität München
19.10.2007
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Ziel des Vortrags
Ziel des VortragsVorstellung des Werkzeugs ACT-CVErläuterung der Vor- und Nachteile von ACT-CVAnwendungsmöglichkeiten bei der prospektivenSystemgestaltung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Gliederung
1 Kognitive Modellierung
2 Die SchnittstellenproblematikWerkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
3 Anwendungsbeispiel: Visuelle Suche auf AutobahnschildernDurchführungErgebnisseModellierung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Gliederung
1 Kognitive Modellierung
2 Die SchnittstellenproblematikWerkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
3 Anwendungsbeispiel: Visuelle Suche auf AutobahnschildernDurchführungErgebnisseModellierung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Kognitive Modellierung
beobachtbaresVerhalten
psychologischeTheorie
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Kognitive Modellierung
Model10100111100
01011011011
11100011010
Cognitive
empirischeValidierung
Implementierung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
Gliederung
1 Kognitive Modellierung
2 Die SchnittstellenproblematikWerkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
3 Anwendungsbeispiel: Visuelle Suche auf AutobahnschildernDurchführungErgebnisseModellierung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
Schnittstellen für kognitive Architekturen
Schnittstellen mit der AussenweltEin kognitives Modell soll in der Lage sein, exakt inderselben Umgebung zu laufen, mit der auch Menscheninteragieren (Anderson & Lebiere, 1998)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
Ansätze zur Lösung
AGImap (Urbas et al., 2006)Toolkit für die Erzeugung von graphischenBenutzeroberflächen, die für ACT-R zugänglich sind.plattformunabhängigkeine Möglichkeit der Bearbeitung bestehender Interfaces
SegMan (Ritter et al., 2006)
Bildschirm-Grabber für Windows und ACT-R 5Definition von Bildschirminhalten: „Pixel Groups“ (S-Expr.)gebunden an Allegro Common Lisp
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
Ansätze zur Lösung
AGImap (Urbas et al., 2006)Toolkit für die Erzeugung von graphischenBenutzeroberflächen, die für ACT-R zugänglich sind.plattformunabhängigkeine Möglichkeit der Bearbeitung bestehender Interfaces
SegMan (Ritter et al., 2006)
Bildschirm-Grabber für Windows und ACT-R 5Definition von Bildschirminhalten: „Pixel Groups“ (S-Expr.)gebunden an Allegro Common Lisp
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
Pixel Groups
Beispiel (St. Amant et al., 2005)(define-pattern small-box()(:and (:count 42)(:area 1)(:size 42)(:height 6)(:width 7)(:red 212)(:green 208)(:blue 200)(:proportion 5/6)7 28 (31 5) 112 (124 4)193 (199 4)(241 5)(255 20)))
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
ACT-CV: Bildverarbeitung für ACT-R
ACT-CVplattformunabhängiger Bildschirmgrabber (Java)Bildverarbeitung mit OpenCV (Intel, 2006, C++)Interface zu ACT-R 6.0 (Lisp/C++)ACT-CV: Computer-Vision
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
ACT-CV: Bildverarbeitung für ACT-R
Software-Architektur von ACT-CV
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
Werkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
ACT-CV: Bildverarbeitung für ACT-R
Vorteile von ACT-CVkaum Beschränkungen bei der Softwareumgebungaktuelle ACT-R-Version (Anderson et al., 2004)plattformunabhängig, verteiltes Rechnen möglicheinfache Definition von Bildschirminhalten (z.B. Bilddatei)komplexe Sensoren nutzbar mittels OpenCVKamera-Modus
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Gliederung
1 Kognitive Modellierung
2 Die SchnittstellenproblematikWerkzeuge für den Einsatz von ACT-RACT-CV: Bildverarbeitung für ACT-R
3 Anwendungsbeispiel: Visuelle Suche auf AutobahnschildernDurchführungErgebnisseModellierung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Anwendung: Visuelle Suche
ThemaVisuelle Suche auf Autobahnschildern während einerFahrsimulation
Ziel der Untersuchung
Prospektive Gestaltung durch kognitive Modellierungunterstützen?Nützlichkeit von ACT-CV an einer praktischenFragestellung überprüfenReplikation von Färber & Färber (im Druck)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Materialhandelsüblicher PCkraftrückmeldendes LenkradMS XNA Racing Game (Microsoft, 2007)EyeTracker (Schneider et al., 2006)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Zielreize436 hypothetische Ortsnamen(Lesezeit kontrolliert)pro Versuchsperson 108 zufälligzusammengestellte Schilderdrei bis sieben Ziele pro SchildAntwortmöglichkeiten:
rechts abgeradeausnicht enthalten
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Design
Unabhängige Variablen
Anzahl der Stadtnamen auf dem SchildPosition des Zielreizes
Abhängige VariablenBearbeitungszeitBlickpfade
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
rechts gerade nicht drauf
Typ des Ziels
3 4 5 6 7
Länge des Schilds
1,50
2,00
2,50
3,00
Zeit
(s)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Position auf dem Schild
Einfluss der Positionder Haupteffekt Position warhochsignifikant (p < .01)paarweise Vergleiche:Unterschiede nur zwischen denBlöckenvgl. Färber & Färber (im Druck)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Theoretische Grundlage für die Modellierung
Visuelle Suche in Menüs (Byrne, 2001):Mischung aus zwei Strategien
1 systematisches Durchgehen der Zeilen2 zufälliges Springen
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Flussdiagramm des kognitiven Modells
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
Empirie nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r
Position
1,50
2,00
2,50
3,00
Zeit
(s)
3 5 7
nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r
Position
nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r
Position
Model10100111100
01011011011
11100011010
Cognitive
Modellnd 1. o 2. o 3. o 1. r 2. r 3. r 4. r
Position
1,0
2,0
3,0
Zeit
(s)
3 5 7
nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r
Position
nd 1. o 2. o 3. o 1. r 2. r 3. r 4. r
Position
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
FazitACT-CV: transparent gegenüber der SimulationEntwicklungsaufwand für das erste Modell: zwei Tage⇒ schnelle Erzeugung brauchbarer Modelle ist möglichDie Generalisierung von vorhandenen Ergebnissen zurSuche in Menüs auf Autobahnschilder gelang nur bedingt
AusblickKombination mit Modellen des Autofahrens(Salvucci, 2007)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
DurchführungErgebnisseModellierung
FazitACT-CV: transparent gegenüber der SimulationEntwicklungsaufwand für das erste Modell: zwei Tage⇒ schnelle Erzeugung brauchbarer Modelle ist möglichDie Generalisierung von vorhandenen Ergebnissen zurSuche in Menüs auf Autobahnschilder gelang nur bedingt
AusblickKombination mit Modellen des Autofahrens(Salvucci, 2007)
Halbrügge, Deml, Färber & Bardins ACT-CV
Kognitive ModellierungDie Schnittstellenproblematik
AnwendungsbeispielLiteratur
LiteraturAnderson, J. R., Bothell, D., Byrne, M. D., Douglass, S., Lebiere, C., & Qin, Y. (2004). An Integrated Theory of the
Mind. Psychological Review, 111(4), 1036-1060.
Anderson, J. R. & Lebiere, C. (1998). The Atomic Components of Thought . Mahwah, New Jersey: LawrenceErlbaum Associates.
Byrne, M. D. (2001). ACT-R/PM and Menu Selection: Applying a Cognitive Architecture to HCI. International Journalof Human-Computer Studies, 55, 41-84.
Färber, B. A. & Färber, B. (im Druck). Aufnahme von Wegweisungsinformation im Straßenverkehr – AWewiS.Berichte der Bundesanstalt für Straßenwesen – Fahrzeugtechnik. Bremerhaven: Wirtschaftsverlag.
Intel (2006). OpenCV 1.0 – Open Source Computer Vision Library . [Online]. Verfügbar unter:http://www.intel.com/technology/computing/opencv. [31.08.2007].
Microsoft (2007). XNA Racing Game. [Online]. Verfügbar unter: http://creators.xna.com/Education/StarterKits.aspx.[01.08.2007].
Ritter, F. E., Van Rooy, D., St. Amant, R., & Simpson, K. (2006). Providing user models direct access to interfaces:An exploratory study of a simple interface with implications for HRI and HCI. IEEE Transactions onSystems, Man and Cybernetics – Part A: Systems and Humans, 36(3), 592-601.
Salvucci, D. D. (2007). Integrated models of driver behavior. In: Gray, W. D. (Hrsg.), Integrated Models of CognitiveSystems. New York: Oxford University Press.
Schneider, E., Bartl, K., Dera, T., Boening, G., & Brandt, T. (2006). Gaze-aligned head-mounted camera with pan, tiltand roll motion control for medical documentation and teaching applications. In: Proceedings of the IEEEConference on Systems, Man and Cybernetics (SMC2006). Taipei, Taiwan.
St. Amant, R., Riedl, M. O., Ritter, F. E., & Reifers, A. (2005). Image Processing in Cognitive Models with SegMan.In: Proceedings of HCI International ’05.
Urbas, L., Heinath, M., Trösterer, S., Pape, N., Dzaack, J., Kiefer, J., & Leuchter, S. (2006). AGImap: A tool-chain tosupport the modeling of the interaction level of dynamic systems. In: Proceedings of the 7th InternationalConference on Cognitive Modeling. Trieste, Italy.
Halbrügge, Deml, Färber & Bardins ACT-CV