warum augen-/blickbewegungen? visuelle aufmerksamkeit und ... › ~ihkoesli › vab2009 ›...

1

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikWarum Augen-/Blickbewegungen?

Finde die rote 9!

x

x x

x

xxx

xx

AUGENAUGEN--BEWEGUNGENBEWEGUNGEN

METHODIKMETHODIKEYE TRACKINGEYE TRACKING

FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


Unterschiedliche Aufgaben



FORSCHUNGS-GEBIETE

Finde die rote 9!

Finde die 5!

2

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


Unterschiedliche Aufgaben

• Examine at will

• Estimate wealth

• Estimate ages

• Guess previous activity

• Remember clothing

• Remember position

• Time since last visit



FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


• Augenbewegungen sind sehr individuell und können selbst bei der selben Person unter verschiedenen Bedingungen sehr unterschiedlich ausfallen.

• Die Dauer der Fixationen und das Muster und die Längen der Sakkaden sind nicht nur abhängig von allgemeinen Eigenschaften wie Geschlecht und Alter, sondern richten sich auch stark nach Gewohnheiten, Fähigkeiten, Interesse und Absichten des Betrachters.

• Auch biologische Faktoren wie etwa Drogen- oder Koffeinkonsum können die Augenbewegungen sehr stark beeinflussen.

• Die für die Forschung wichtigsten Eigenschaften sind jedoch die starke Veränderung der Augenbewegungen aufgrund der dargebotenen visuellen Reize, z.B. der Schwierigkeit eines Textes oder der Komplexität eines Bildes, und der Aufgabenstellung.

• Erst diese Abhängigkeiten legen die sog. eye-mind Hypothese nahe, nämlich daß das Sehen und die kognitive Verarbeitung des Gesehenen sich gegenseitig beeinflussen und experimentell begründbare Rückschlüsse aufeinander zulassen.

• Den Vorgang des Sehens selbst bezeichnet man deshalb heute auch als intentionales Sehen, also einer aktiven, bewußt gesteuerten Handlung durch den Sehenden.



FORSCHUNGS-GEBIETE

3

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

• Kernaussage: “the eye commonly fixates on the symbols currently being processed by the brain” (Originalzitat: “there is no appreciablelag between what is being fixated and what is being processed” (p. 331))

• Identifikation und Parametrisierung perzeptueller & kognitiver Prozesse

• Einblicke in das “Wie?” und “Warum?” beim Problemlösen(z.B. Suchstrategien)

• Informationsaufnahme ist physiologisch begrenzt →Aufmerksamkeitsmechanismus

• Physiologie des Auges koppelt Augenbewegungen an Aufmerksamkeit

• Projektion der “region of interest” auf die fovea centralis

Die eye-mind Hypothese (Just & Carpenter, 1980)

Warum Augen-/Blickbewegungen?



FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Kognition / kognitiv

• Wir bezeichnen hier mit diesem Begriff die im Gehirn ablaufendenInformationsverarbeitungsprozesse, die für intelligentes Handeln notwendig sind, z.B. Erkennungs- oder Abstraktionsleistungen oder das Interpretationsvermögen – also, im Falle visueller Wahrnehmung, die Fähigkeit, aus einem visuellen Reiz ein bedeutungstragendes Objekt zu machen.

Einschub: Definition



FORSCHUNGS-GEBIETE

4

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

• Konsequenz: So kann man z.B. Such- oder Entscheidungsprozesse als kognitive Prozesse bezeichnen. Ein visueller Suchprozeß etwa ist demnach eine bestimmte Aneinanderreihung visueller Perzepte, visueller Eindrücke, die sich ergeben durch eine intelligente Verschaltung senso-motorischer Eingaben wie Augenbewegungen und retinal aufgenommener und dann kortikal weiterverarbeiteter Information.

Augenbewegungen sollten uns erlauben, Aufmerksamkeits-mechanismen zu identifizieren, damit Einblick in kognitive Aspekte der Informationsverarbeitung zu gewinnen und so high-levelVerarbeitungs- oder Problemlösestrategien abzulesen

vertikale Organisation von sensomotorischer, perzeptiver und kognitiver Verarbeitungsebene

Die eye-mind Hypothese



FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikDie eye-mind Hypothese

Finde die rote 9!

Finde die 5!



FORSCHUNGS-GEBIETE

5

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikErfassung von Augenbewegungen

• Eye Tracking bezeichnet die Technik bzw. Methode der Augenbewegungsmessung

• In Untersuchungen werden verschiedene Apparaturen zur Augenbewegungsmessung, sog. Eye Tracker, eingesetzt

• Eye Tracker arbeiten mit unterschiedlichen Verfahren zur Erfassung und Aufzeichnung der Augenbewegungen



FORSCHUNGS-GEBIETE

Buswell, 1935 Koesling et al., 2007

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikErfassung von Augenbewegungen

• Wie ausführlich diskutiert, lassen sich aus den aufgezeichneten Augenbewegungsdaten raum-zeitliche Blicktrajektorien und somit Aufmerksamkeitsverteilungen gewinnen

• Augenbewegungsdaten stellen ein prozeß-basiertes Maß dar



FORSCHUNGS-GEBIETE

Buswell, 1935 Koesling et al., 2007

6

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikAlternative Methoden

• Verbalisierung von Problemlöse-Strategien (retrospektiv)

• Räumlich-zeitliche Schlußfolge-Techniken (Williams et al., 1999)

• Analyse produkt-basierter psychophysischer Daten, z.B. Antwortverhalten oder Reaktionszeiten



FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Vorteile der Messung von Augenbewegungen

• Indirekt, nicht-invasiv

• Beobachtung natürlichen (unbewußten) Informationsverarbeitens

• Prozeß-basiertes Maß

Kritik / Grenzen der Eye Tracking Methode

• Entkoppelung von Aufmerksamkeit & Blick („Looking without seeing“)

• Periphere Verarbeitung („Seeing without looking“)

• Vorwissen / Verarbeitung vorheriger Informationen

• Höhere kognitive Verarbeitungsprozesse



FORSCHUNGS-GEBIETE

7

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikTechnische Aspekte der Augenbewegungsmessung

• Invasiv erfasst werden:

– Elektrookulographie (EOG)

– Kontaktlinsenmethode

• Nicht invasiv erfasst werden:

– Corneareflex Tracking

– Purkinje Tracking

– Limbus / Pupil Tracking

– 1990er Jahre: Videobasiertes Eye Tracking

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Quelle: Zipp: Optimierung der Oberflächenableitung bioelektrischer Signale. Düsseldorf: VDI-Verl., 1988.

Elektrookulographie (EOG)

• Spannungsmessung zwischen zwei Elektroden, die links und rechts (oder oberhalb und unterhalb) des Auges auf der Haut angebracht sind

• Auge stellt elektrischen Dipol dar, d.h. es existiert eine Spannungs-differenz zwischen Netzhaut (negativ) und Hornhaut (positiv)

• Ruhepotential wird als konstant angenommen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

8

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik



• Durch Augenbewegungen nähert sich die Vorderseite des Auges der einen Elektrode an, während die Rückseite sich der anderen Elektrode annähert.

• Änderung der elektrischen Feldes • Dadurch kommt es zu einer Spannungsdifferenz zwischen den

Elektroden, die verstärkt und aufgezeichnet wird.

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik



• Die Spannungsdifferenz ist ungefähr proportional zum Blickwinkel.• Probleme:

• Schwankungen des (Ruhe-) Potentials• Abweichung durch Lidschläge• Elektrisches Rauschen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

9

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

QuelleQuelle: : DuchowskiDuchowski//VertegaalVertegaal: Eye: Eye--Based Interaction in Based Interaction in Graphical Systems: Theory & Practice. Graphical Systems: Theory & Practice. SiggraphSiggraph 2000.2000.


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikElektrookulographie (EOG)

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Quelle: Völpel, 2004, S. 22

10

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikKontaktlinsenmethode

• Einsetzen einer genau angepaßten Kontaktlinse auf der Hornhaut des Nutzers

• Anforderungen: • Kein Verrutschen auch bei schnellen Augenbewegungen• Auge darf nicht geschädigt werden

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikKontaktlinsenmethode

Spiegel

• Befestigung eines Spiegels auf der Kontaktlinse • Einfallendes Licht wird so in einem bestimmten Winkel reflektiert, diese

Reflektion kann durch z.B. eine Kamera aufgezeichnet werden.

Search coil

• Magnetische Spule in der Kontaktlinse • Durch ein Wechselfeld, erzeugt durch

Spulen am Kopf oder in einem Rahmen um den Kopf des Probanden und für jede Raumrichtung anders, wird den Kontakt-linsen-Spulen Spannung indiziert.

• Diese verändert sich proportional zur Lage der kleinen Spulen im Feld und kann gemessen werden

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

11

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Quelle: Joos et al.: Blickbewegungsmessung und praktische Anwendungen. TEAP 2005.

Kontaktlinsenmethode

• genau, aber aufwendig

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikBeispiel-Trajektorien

Quelle: http://diwww.epfl.ch/lami/team/smeraldi/saccadic/yarbus.html

Quelle: http://www.franzdodel.ch/haiku/haiku_bild/r_yarbus.htm

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

12

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

Limbus Tracking

Pupillen Tracking

Purkinje-Bilder

Corneareflex Tracking

Quelle: Carbone/Kösling: Eye-Tracking. Blickbewegungsmessung im Überblick. IK 2001.

Quelle: Duchovki/Vertegaal: Eye-Based Interaction in Graphical Systems: Theory & Practice. Siggraph 2000.

Tracking optischer Charakteristika

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikTracking optischer Charakteristika

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Videobasierte Verfahren

• Die heutzutage am weitesten verbreitete Methode um Augen-bewegung zu erfassen ist die videobasierte.

• Dabei nimmt eine Videokamera, das Bild eines oder beider Augen auf. • Dieses Sigal wird dann rechnergestützt ausgewertet und interessante

Merkmale des Auges (z.B. Limbus, Pupille, Blutgefässe, Reflexionen) werden extrahiert, ebenso wie die Position und der Blickfokus berechnet werden.

13

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikPurkinje Tracking

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

1. 2. 3. 4. Purkinje - Bilder

• Die Berechnung des Blickfokus ist mittels Reflexionen, die auf der Vorder- und Rückseite der Cornea und Linse entstehen, wenn das menschliche Auge durch eine punktförmige Lichtquelle angestrahlt wird.

• Diese Reflexionen, auch Purkinje-Bilder genannt, geben Aufschluß über Lage der Cornea bzw. Linse und damit über den Blickfokus.

• Es existiert eine große Zahl von Eye-Tracking-Verfahren, welche mehrere Reflexionspunkte in die Berechnung mit einbeziehen, ausreichend ist aber z.B. das erste Purkinje-Bild, d.h. die erste Reflexion.

Cornea-Reflex Verfahren

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Technik

• Rechnergestützte Erkennung der Pupille und des Reflexionspunktes. • Kontrastbasierte Algorithmen (hoher Kontrast zwischen Pupille,

Reflexionspunkt und Umgebung, genaueres später):• „bright pupil“-Methode: Pupille erscheint bei Ausleuchtung mit

infrarotem Licht sehr hell• „dark pupil“-Methode: Pupille erscheint fast schwarz

14

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Technik

• Der Abstand zwischen Mittelpunkt der Pupille und Reflexionspunkt wird anschließend in einen Vektor umgerechnet.

• Dieser Vektor wird nach einer Kalibrierung (anhand mehrerer Punkte an einem festen Bezugsfeld, z.B. einem Monitor) als Referenz benützt, um einen Bezug herzustellen zwischen Lage bzw. Länge des Vektors und Blickpunkt auf dem Blickfeld.

• Diese Umrechnung ist bei den höchstauflösenden Systemen und guter Kalibrierung bis in den Millimeterbereich exakt.

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Purkinje Eye Tracker

15

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikPupil Tracking

• Ausleuchtung des Auges mittels Infrarotlichtquelle• Erfassung der Auslenkung der Pupille mittels Kamera• Erkennung und Extraktion der Pupille mittels

Bildverarbeitungsalgorithmen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


„Bright Pupil-Verfahren“

• Infrarot-Quelle nahe der Kameralinse und auf einer Achse mit dieser• Trennung des vom Auge reflektierte Infrarotlichtes vom Tageslicht

mittels Infrarotfilter Auge erscheint einem weißen Farbton im Kamerbild

• Einfache Erkennung und Extraktion durch Bildverarbeitungsalgorithmen

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

16

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


„Dark Pupil-Verfahren“

• Analog zum „Bright Pupil-Verfahren“.• Unterschied: Lichtquelle seitlich zur Kameraachse angeordnet

Kamera erfaßt nun nicht mehr direkte Infrarotreflexion der Iris, sondern den Schatten, der neben dem auftreffenden Infrarotstrahl auf der Iris entsteht. Dadurch erscheint die Pupille für die Kamera in einem schwarzen Farbton.

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikVergleich verschiedener Eye Tracking Verfahren

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Räumliche Genauigkeit

• Elektro-Okulogramm (EOG): ± 2 Grad• Search Coil (Spule): ± 0.05 Grad• Purkinje-Tracking: ± 0.2 Grad• Pupil-Tracking: ± 0.5 Grad

Zeitliche Auflösung

• Elektro-Okulogramm (EOG): bis 1 kHz• Search Coil (Spule): bis 4 kHz• Purkinje-Tracking: max. 1-2 kHz• Pupil-Tracking: max. 1-2 kHz

17

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG NeuroinformatikVerschiedene Eye Tracking Systeme

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

StationärVi

suel

le A

ufm

erks

amke

it un

d Bl

ickb

eweg

unge

n


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Remote

18

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen


AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

Head-mountedVi

suel

le A

ufm

erks

amke

it un

d Bl

ickb

eweg

unge

n

AG NeuroinformatikEyeLink I / EyeLink II Systeme

• SMI-EyeLink I Eye Tracker

• Pupil Tracking (EyeLink II zusätzlich Corneareflex)

• Binokulares Tracking

• Berechnung der Blickposition– Kalibrierung– Kompensation von

Kopfbewegungen

• Zeitliche Auflösung 250 Hz(EyeLink II 500 Hz)

• Räumliche Genauigkeit 0,5 – 1o

• Online-Verfügbarkeit der Daten und nachfolgende Analyse (delay ca. 15 ms)

SMI EyeLink I

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

19

Visu

elle

Auf

mer

ksam

keit

und

Blic

kbew

egun

gen

AG Neuroinformatik

LC Technologies EyeGaze

SR Research EyeLink II

AUGEN-BEWEGUNGEN


FORSCHUNGS-GEBIETE

EyeLink II / EyeGaze Systeme

warum augen-/blickbewegungen? visuelle aufmerksamkeit und ... › ~ihkoesli › vab2009 ›...

Documents