![Page 1: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/1.jpg)
TP 2: Situationsabhaengiges Verstaerkungslernen
FNW/IBIO
Jochen Braun, [email protected] Hamid, [email protected] Houtkamp, [email protected]
![Page 2: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/2.jpg)
Experimenteller Teil:
Dokumentiere Verstaerkungslernen visuomotorischer Assoziationen
Dokumentiere Situationsabhaengigkeit
Korreliere Reizstatistik mit Lernerfolg
![Page 3: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/3.jpg)
Visuelle Objekte
Fraktale Objekte sind
• unvertraut• einpraegsam• unterscheidbar
![Page 4: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/4.jpg)
Motorische Assoziationen
Zwei motorische Antworten (links und rechts)
• keine Assoziationen mit Objekten
• Antwort durch Tastendruck
• Verstaerkung durch Farbaenderung (gruen fuer ‘richtig’, rot fuer ‘falsch’)
![Page 5: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/5.jpg)
Erlernen Visuomotorischer Assoziationen
Experimenter defines two lists of (arbitrary) target objects: members of first list call for response a (e.g., top, left), members of second list for response B (e.g., bottom, right).
Naive subjects attempt to learn these associations by trial and error.
![Page 6: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/6.jpg)
Situationsabhaengikeit A
Target and distractor objects reverse roles every 60 trials or so, necessitating relearning of visuomotor associations.
Retention of initial visuomotor associations becomes evident after second reversal.
Zielreize
Distraktor-reize
~60 Darbietungen
1st reversal 2nd reversal
![Page 7: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/7.jpg)
Situationsabhaengigkeit B: Zeitliche Abfolge
0 1 1 1
1 0 1 1
1 1 0 0
1 1 1 0
1 1 1 0
2 1 0 0
0 1 0 2
0 0 2 1
Uebergaenge gleichverteilt
Keine Wiederholungen
Bestimmte Uebergaenge gehaeuft
Einige Wiederholungen
![Page 8: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/8.jpg)
Unabhaengige Variablen
• Haeufung der Uebergaenge• Zahl der Wiederholungen
Abhaengige Variablen
• Lerngeschwindigkeit• Geschwindigkeit der Reakti- vierung nach 2. Umkehr
Objektsequenz, -statistik
Lernmodell
Nimitek
![Page 9: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/9.jpg)
Theoretischer Teil:
Model of Yu & Dayan (2005)
Erweiterung auf Situationsabhaengigkeit
![Page 10: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/10.jpg)
Uncertainty and Attention
Angela Yu, Peter Dayan
![Page 11: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/11.jpg)
The Experiment• 5- Arrows
• Trial: target after cue
• Subject: report target
• Block1: T-1 trials, blue is relevant, prediction probability:
•Block2: from trial T on, blue not relevant any more, for instance red with new
![Page 12: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/12.jpg)
Mathematical Analysis
![Page 13: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/13.jpg)
The Ideal Learner Algorithm
Zt is the normalizing constant for the distribution
• Iterative method for computing the joint posterior• Integration is expensive
![Page 14: TP 2: Situationsabhaengiges Verstaerkungslernen FNW/IBIO](https://reader036.vdocuments.mx/reader036/viewer/2022062521/5681559f550346895dc37b9f/html5/thumbnails/14.jpg)
Erweiterung von Yu und Dayan
0 1 0 00 0.7 0 0
1 1 1 0
2 1 0 0
0 1 0 2
0 0 2 1
Bedeutsamkeit undZuverlaessigkeit der Einzelobjekte
Bedeutsamkeit und Zuverlaessigkeitder Objektuebergange