prinzipien der informationsverarbeitung im visuellen ?· prinzipien der informationsverarbeitung...

Download Prinzipien der Informationsverarbeitung im visuellen ?· Prinzipien der Informationsverarbeitung im…

Post on 25-Mar-2019

212 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

1

INB

Prinzipien der Informationsverarbeitung im

visuellen Cortex

Erhardt Barth

Institut fr Neuro- und Bioinformatik

Universitt zu Lbeck

2

INB

bersicht

Einleitung

Aus heutiger (und meiner) Sicht grundlegende Eigenschaften der visuellen Informationsverarbeitung

bersicht OC-relevante Projekte

Bewutsein als Kontrollinstanz des Gehirns (Anregung)

3

INB

Motivation

Vom biologischen Sehen fr das Rechnersehen lernen

Technische Systeme an den Menschen anpassen

4

INB

Methoden der Hirnforschung Neurophysiologie, bildgebende Verfahren

Ganglienzellen der Netzhaut

Orientierungs-selektive Neurone des primrenvisuellen Cortex

Psychophysik hier einige Anregungen zur Selbstbeobachtung

Mathematische Modelle und Simulationen Informationstheorie, Lineare Systemtheorie

Beispiele nichtlinearer Anstze (am Rande)

5

INB

Rahmen fr interdisziplinre Hirnforschung

Bisher Kybernetik

Neuronale Netze

Knstliche Intelligenz

Computational Neuroscience

Generelle Probleme zu viel versprochen

zu sehr solution in search of a problem

6

INB

Computational Neuroscience Metaphors and the brain

Hydraulic and mechanical metaphors (Hippocrates)

Electronic and optical metaphors (telegraph brain)

Computational metaphor (widespread today)

Surprisingly, ..., there remains today no well established evidence of symbolic manipulation or formal logic rules at the neurobiological level in animal physiology. ...

We should remember that the enthusiastically embraced metaphors of each new era can become, like their predecessors, as much the prisonhouse of thought as they at first appeared to represent its liberation. (J. Daugman)

7

INB

Eigenschaften der visuellen Informationsverarbeitung

Verhaltensrelevanz

Anpassung an die Umwelt

Modularitt

Lernen, Plastizitt und Umorganisation

Aktive, selektive Wahrnehmung

8

INB

9

Behavior of a frog A frog hunts on land by vision.

He escapes enemies mainly by seeing them.

His eyes do not move (but to compensate body motion).

He has a uniform retina and no fovea.

His choice of food is determined only by size and movement - he will starve to death surrounded by food if it is not moving!

His sex life is conducted by sound and touch.

To escape enemies, he jumps to where it is darker.

10

INB

11

INB

The bug detector

Convexity detectors (type II ganglion cells in the frogs retina) respond best when a dark object enters the receptive field, stops and moves about intermittently thereafter. The response is not affected if the lightning changes or if the background is moving. Could one better describe a system for detecting an accessible bug?

12

INB

Interpretations

One could say that the right way to view the visual system was not as doing information processing but as producing behavior. Computers process information, but brains make animals do the right thing. (Anderson)

13

INB

Meeting Jerry Lettvin(is a great experience ....)

The bug detector is even more complex:

yes yesno less

14

INB

Topological features

CON-COFF representation (not further specified)

INPUT

1.00 -3.00 -1.00 0.00 1.00are the normalized integral values of CON-CON. When used to inhibit the CON-COFF representation, they produce the selectivity reported by Lettvin.

15

INB

Optischer Nerv

visueller Cortex

Auge

16

INB

Bemerkung

Bei Sugetieren, speziell den Primaten, sind die frhen Verarbeitungsstufen generischer und werden meistens im Sinne einer Reprsentation verstanden.

Was aber ist der Sinn von Reprsentationen?

17

INB

Eigenschaften der visuellen Informationsverarbeitung

Verhaltensrelevanz

Anpassung an die Umwelt

Modularitt

Lernen, Plastizitt und Umorganisation

Aktive, selektive Wahrnehmung

18

INB

Anpassung an die Umwelt

Inzwischen eine beliebte Sichtweise: die visuellen Mechanismen entstanden durch Anpassung an die Statistik der natrlichen Umgebung. Welche Statistik?

Klumpenbildung

Welche Mechanismen? laterale Hemmung, Orientierung, d.h. frhe M.

Welches Kriterium? minimale Entropie, sparse coding

19

INB

20

INB

Cornsweet illusion(Craik-OBrien effect)

21

INB

Hubel & Wiesel, 1962

22

INB

Information und Entropie

Information (I)Nachrichten fk (z.B Helligkeit im Bild)

mit Wahrscheinlichkeiten pk, k=1,,N

Information: Ik = log2 pk [bit]

H = pk log2 pk [bits / Nachricht]k =1

N

Entropie (H)

(mittlere Information)

23

INB

0

0,2

0,4

0,6

0,8

1

1 2 3 4 5

H gering H maximal

24

INB

Informationstheoretische Analyse

Input Netzhaut Cortex

25

INB

0.44 0.55 0.710.77 0.16 0.610.44 0.82 0.36

RGB principal components

R+G+B -R-G+B R-G+B

Optimal color coding

26

INB

R+G+B R-G+B R+G-B

achromatic channel red-green channel yellow-blue c.

The three channels carry different spatial frequencies

Visual color coding

27

INB

Eigenschaften der visuellen Informationsverarbeitung

Verhaltensrelevanz

Anpassung an die Umwelt

Modularitt

Lernen, Plastizitt und Umorganisation

Aktive, selektive Wahrnehmung

28

INB

Cortikale Spezialisierung Getrennte Verarbeitung von

Form Bewegung Farbe

V1: orientation V2: orientation, end-stopping.V3: orientation, motion, depth V4: mainly color MT: mainly motion

29

INB

Tanaka et al., 1991

IT cortex of wake monkeys

30

INB

Sparse coding Im Gehirn geht es sehr ruhig zu. d.h. es

sind meistens nur sehr wenige Neurone aktiv.

Desto besser es funktioniert, desto ruhiger.

Neurone sind stark verbunden jedoch dienen die meisten Interaktionen eher dem Niederbgeln der Aktivitt, d.h. dem sparse coding.

31

INB

An intermediate conclusion

Efficient coding of information is a central problem of the sensory system. At progressively higher levels in the sensory pathway information about the physical stimulus is more abstract and is represented by progressively fewer active neurons. (J. Feldman)

32

INB

Cortical organization: specialized visual areas

Diagram of visual pathway and different visual areas (Van Essen et.al.).

Note the massive connections that are both feed-forward and feed-back (bottom-up and top-down pathways).

33

INB

Eigenschaften der visuellen Informationsverarbeitung

Verhaltensrelevanz

Anpassung an die Umwelt

Modularitt

Lernen, Plastizitt und Umorganisation

Aktive, selektive Wahrnehmung

34

INB

Lernen, Plastizitt und Umorganisation

Einige nicht behandelte Themen Perceptual learning

Gedchtnis

Zellulre Mechanismen (LTP)

Datengetriebene Umorganisation Seeing in the sound zone

35

INB

Seeing in the sound zone

Experimente von M. Sur u.a. (MIT):

Nerven aus der Netzhaut von V1 (visueller Cortex) nach A1 (auditorischerCortex) umgeleitet (bei jungen Frettchen)

A1 zeigt danach Eigenschaften von V1

Frettchen sehen mit A1

(Lettvins smellerfrog)

36

INB

Seeing in the sound zone

Zitate dazu (Merzenich, Nature Vol 404, 2000)

... compelling evidence ... for the exquisite sensitivity of cortical development to external cues.

A1 territory is taken over by visual input.

... much of what typifies the functional organization of V1 can be generated within A1 by delivering retinal inputs to A1.

... the animals see with what was their auditory cortex.

37

INB

Umorganisation neuronaler Verbindungen beim Menschen

Ein Beispiel: Kinder mit nur einer Hirnhlfte verhalten sich spter, bei entsprechendem Training, weitgehend normal.

Generelles Prinzip: vor und nach der Geburt bilden sich sehr viele neuronale Verbindungen, die dann im Laufe der Zeit stark und selektiv abgebaut werden.

Im Alter passiert (leider und glcklicherweise) davon nicht mehr viel.

38

INB

Eigenschaften der visuellen Informationsverarbeitung

Verhaltensrelevanz

Anpassung an die Umwelt

Modularitt

Lernen, Plastizitt und Umorganisation

Aktive, selektive Wahrnehmung

39

INB

Aktive, selektive Wahrnehmung

Aktiv im Sinne einer top-down gesteuerten Sensorik Hypothesen-getriebene Sensorik

(Animate vision, active vision)

Aktiv im Sinne einer aktiven Hypothesenbildung Wahrnehmen was erwartet wird

Wie wird mit resultierenden Fehlern umgegangen?

40

INB

Seeing as an illusion:the door experiment

D. Simons, Harvard

Itap

41

INB

Basketball count

D. Simons, Harvard

42

INB

Seeing as an illusion:change blindness

43

Recommended

View more >