zur funktionalen architektur des willens: integration ... · vorlesung im ws 2013/14 lernen und...
TRANSCRIPT
Vorlesung im WS 2013/14
Lernen und Gedächtnis
Klassisches Konditionieren Teil 2
Prof. Dr. Thomas Goschke
Professur für
Allgemeine Psychologie
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
2
Zeitliche Relation zwischen CS und US
1. Effekt der zeitlichen Relation zwischen CS und US
2. Merkmale des CS: Generalisierung und Diskrimination
3. Merkmale der CR
4
Zeitliche Relation zwischen CS und US
CS-US Intervall und Lidschlagkonditionierung
McAllister, W. R. (1953). Eyelid conditioning as a function of the CS--
UCS interval. Journal of Experimental Psychology, 45, 417-422.
Optimales CS-US-Interval variiert je nach Stimuli, Reaktionen und Lebewesen zwischen 0,5 bis > 30 sec
5
Zeitliche Relationen zwischen CS und US
CS
US
Verzögerte
Kond.
CS
US
Spuren-
kond.
CS
US
Simultane
Kond.
CS
US
Rückwärts-
kond.
Starke
Konditionierung
schwache oder
keine Konditionierung
schwächere
Konditionierung
6
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
7
Generalisierung und Diskrimination
Reizgeneralisierung
• Auch ein dem CS ähnlicher Reiz löst die CR aus
• Bsp.: Summton statt Glockenton als CS
• Stärke der CR hängt von Ähnlichkeit der Reize ab
Reizdiskrimination
• Nur ganz bestimmter CS wird von US gefolgt
• Ähnliche CS kein US
• Lebewesen lernt, immer feiner zwischen Reizen zu unterscheiden
8
Reizgeneralisierung
Lidschlussreaktion beim Kaninchen wurde auf Ton einer bestimmten Frequenz konditioniert
Wird CR auch durch Töne einer anderen Frequenz ausgelöst?
Ergebnis: Generalisierungsgradienten
Siegel et al. (1968). Generalization gradients obtaine from individual subjects
following classical conditioning. Journal of Experimental Psychology, 78, 171-174. 9
Generalisierungsgradienten
© Zimbardo & Gerrig (2004) 11
Reizdiskrimination
CR wird nur durch ganz spezifischen CS ausgelöst (Bsp. Kreis vs. Ellipse)
Grenzen der Diskriminationsfähigkeit: Experimentelle Neurose
12
Vorlesung im WS 2012/13
Lernen und Gedächtnis
Klassisches Konditionieren Teil 2
Prof. Dr. Thomas Goschke
Professur für
Allgemeine Psychologie
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
14
Was ist die konditionierte Reaktion?
Hypothese 1: Reizsubstitution
Reiz-Substitutions-Hypothese (Pawlow)
• auf den CS wird so reagiert, als ob er der US wäre
• CS aktiviert eine neuronale Repräsentation des US, die reflexhaft die UR (=CR) auslöst
CS-
Zentrum
US-
Zentrum
Reaktions-
zentrum US (Futter)
CS (Ton)
Reaktion
(Speicheln)
16
Was ist die konditionierte Reaktion? Probleme der Reiz-Substitutions-Theorie
CR und UR sind oft unterschiedlich (Stärke, zeitliches Muster)
• Z.B. konditionierte Lidschlussreaktion oft schwächer und langsamer als UR
CR umfasst nicht alle Komponenten der UR
• Z.B. reagiert Hund auf Futter (US) nicht nur mit Speichelfluss, sondern Kauen und Schlucken ist nicht Bestandteil der CR
CR kann Komponenten beinhalten, die nicht Teil der UR sind
• Z.B. reagieren Hunde auf Glocke oft mit Kopfdrehung und Hinschauen ist nicht Bestandteil der UR auf das Futter
CR ist manchmal sogar das Gegenteil der UR
• Z.B. steigt bei Meerschweinchen Herzfrequenz als Reaktion auf Elektroschock, aber sinkt in Reaktion auf den CS (Black, 1965)
„konditionierte kompensatorische Reaktion“
17
Was ist die konditionierte Reaktion?
Alternative Hypothese: Vorbereitende Reaktion
Hypothese: Die CR ist eine Vorbereitung auf den US
• CS liefert Information über den US und ermöglicht dem Organismus, das Auftreten des US zu antizipieren (Rescorla, 1988)
• CR ist eine Vorbereitung auf den US, nicht eine Reaktion auf ihn
• Z.B. ist konditionierte Speichelreaktion eine Vorbereitung auf das Fressen und die Lidschluss-CR eine Vorbereitung auf den Luftstoß
21
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Grundlegende Phänomene: Akquisition, Extinktion, Spontanerholung, Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
22
Was wird beim klassischen Konditionieren gelernt?
CS
(Ton)
US
(Futter)
UR
(Speicheln) S-R-Lernen
CS
(Ton)
US
(Futter)
UR
(Speicheln) S-S-Lernen
23
Was wird beim Klassischen Konditionieren gelernt?
1. S-R-Lernen: Assoziation zwischen CS und CR
Glocke Speicheln
oder
2. S-S-Lernen: Assoziation zwischen CS und US
Glocke „Antizipation“ von
Futter Speicheln
24
Was wird beim Klass. Kond. gelernt? Empirische Untersuchungen
1. Response-Prevention Paradigm
2. US Devaluationsparadigma
3. Sensorische Präkonditionierung
4. Konditionierung zweiter Ordnung
25
Was wird beim Klassischen Konditionieren gelernt?
1. Response-Prevention Paradigm
1. Lernphase: Paarung des CS mit US, Verhinderung der UR
(z.B. durch Drogen; temporäre Curare-Lähmung)
2. Testphase: Absetzen der Droge, Präsentation des CS
Ton Vermeidungsverhalten
• Spricht für S-S Lernen, da CS nie mit UR gemeinsam auftrat
• Aber: vielleicht wurde zwar die motorische Reaktion blockiert, aber der CS
nach wie vor mit einer zentralnervösen Repräsentation der Reaktion
assoziiert
Fitzgerald et al., 1973; Leaf, 1964
Ton Schock Reaktion nicht
möglich
26
Was wird beim Klassischen Konditionieren gelernt?
2. US Devaluation Paradigm
1. Lernphase: Klassische Konditionierung von CS mit US bis der CS die
CR auslöst.
Licht Futter Erhöhte Aktivität
2. Sättigungsphase: Ratten werden so lange gefüttert, bis Futter (US)
keine UR mehr auslöst.
3. Testphase: Löst Präsentation von CS die CR aus?
Wird der US „entwertet“, löst auch der CS keine Reaktion mehr aus.
Spricht für S-S Lernen.
Licht Keine erhöhte
Aktivität
Holland & Rescorla, 1975 27
Was wird beim Klassischen Konditionieren gelernt?
3. Sensorische Präkonditionierung
1. Präkonditionierungsphase: Paarung zweier neutraler Reize CS1 + CS2
Licht (CS2)
3. Testphase: Löst CS2 die CR aus?
Licht Vermeidungsverhalten
2. Konditionierungsphase: Paarung von CS1 (Ton) mit US (Schock) bis
CS1 die CR (Vermeidungsverhalten) auslöst.
Vermeidungsverhalten Ton Schock
• Spricht für S-S Lernen (da CS2 nie mit UR gepaart wurde)
• CS2 löst Antizipation des CS1 aus, der Antizipation des US auslöst
Rizley & Rescorla, 1972
Vermeidungsverhalten Ton
Ton (CS1)
28
Was wird beim Klassischen Konditionieren gelernt?
4. Konditionierung zweiter Ordnung
1. Lernphase: Paarung von CS1 mit US bis CS1 die CR auslöst
Licht Futter CR
2. Lernphase: Paarung von CS2 mit CS1
Licht Ton
3. Testphase: CS2 löst die CR aus
Ton CR
Spricht für S-S-Lernen (CS2-CS1-> Erwartung des US)
(Mögliche alternative Interpretation: S-R-Lernen (CS1 wird zum neuen US für die UR; in
Phase 2 führt dann CS2-CS1-Paarung dazu, dass CS2-CR-Assoziation gelernt wird)
Licht CR
Holland & Rescorla, 1975 29
Was wird beim Klassischen Konditionieren gelernt?
4. Konditionierung zweiter Ordnung und US-Entwertung
Nach Konditionierung zweiter Ordnung wurde US entwertet, indem
Ratten gesättigt wurden, so dass CS1 nicht länger UR auslöst
Licht Keine CR
Löst CS2 die CR aus?
Ton CR
Spricht dafür, dass Assoziation zwischen CS2 und CR gelernt wurde
Holland & Rescorla, 1975 30
Was wird beim Klassischen Konditionieren gelernt?
Drei Paradigmen und die erworbenen Assoziationen
2
31
Was wird beim Klassischen Konditionieren gelernt?
Schlussfolgerungen
Reiz- und reaktionsbezogene Aspekte von Ereignissen konkurrieren darum, mit dem neutralen Reiz assoziiert zu werden
Verschiedene Paradigmen führen zu S-S oder S-R-Assoziationen, je nachdem welcher Aspekt (S oder R) salienter ist
Sensorische Vorkonditionierung:
• S-S-Lernen, weil keine salienten Reaktionen mit dem CS1 assoziiert werden
Konditionierung 1. Ordnung
• Führt meist zu S-S-Lernen, weil der US meist sehr salient ist
Konditionierung 2. Ordnung
• S-R-Lernen, weil die vorhergehende Konditionierung 1. Ordnung dem CS1 reaktionsbezogene Merkmale verleiht, die salienter sind als seine reizbezogenen Merkmale
Holland, 1985 32
Was wird beim Klassischen Konditionieren gelernt?
Bedeutung der Konditionierung höherer Ordnung
Durch Kond. höherer Ordnung werden neutrale Reize zu konditionierten Reizen, ohne direkt mit einem US gepaart werden zu müssen
Beispiel: Evaluative Konditionierung
• CS 1.Ordnung: z.B. positive oder negative Wörter
• CS 2.Ordnung: z.B. Gesichter, die mit den Wörtern gepaart werden
• CR: Gesichter werden nach Kond. Positiver bzw. negativer bewertet (selbst wenn sich die Versuchspersonen nicht daran erinnern, welche Wörter mit welchen Gesichtern gepaart wurden)
Findet häufig Anwendung in der Werbung
33
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
35
Was ist entscheidend für die Verknüpfung von CS und US?
Kontiguität
Ereignisse werden assoziiert, wenn sie in raum-zeitlicher Nähe auftreten
Pro: oft ist Konditionierung bei kurzem CS-US-Intervall optimal
Contra: mitunter erfolgt Konditionierung auch bei sehr langen CS-US-Intervallen!
Kontingenz
Zwei Ereignisse werden assoziiert, wenn das eine das andere Ereignis vorhersagt
Raum-zeitliche Nähe ist nicht hinreichend für Konditionierung
Entscheidend ist, ob der CS ein valider Prädiktor des US ist
Kontiguität (raum-zeitliche Nähe von CS und US)
oder
Kontingenz (Vorhersagekraft des CS)?
37
Kontiguität oder Kontingenz?
Das Experiment von Rescorla (1968)
Ratten lernten, Hebel zu drücken, um Futter zu bekommen
Danach wurde ab und zu ein Ton für 2 Minuten dargeboten (CS)
Während des Tons erhielten Ratten mit einer bestimmten Wahrscheinlichkeit einen Elektroschock (US)
Mit einer bestimmten Wahrscheinlichkeit trat ein Elektroschock auch in Phasen ohne Ton auf
Abhängige Variable: Ausmaß der Unterdrückung des Hebeldrückens während des Tons (= konditionierte emotionale Reaktion)
(Stärkere Konditionierung stärkere Unterdrückung)
Rescorla, R. A. (1968). Probability of shock in the presence and absence of CS in fear conditioning. Journal of Comparative and Physiological Psychology, 66, 1-5.
38
Kontiguität oder Kontingenz?
Das Experiment von Rescorla (1968)
Variiert wurde:
1. Die Wahrscheinlichkeit, mit der der Stromschlag während des Tons auftrat: P(US|CS) = CS-US-Kontiguität
2. Wahrscheinlichkeit, mit der der Stromschlag in Abwesenheit des Tons auftrat: P(US|¬CS) = Basisrate des US
Kontingenz zwischen CS und US = P(US|CS) - P(US|¬CS)
Rescorla, R. A. (1968). Probability of shock in the presence and absence of CS in fear conditioning. Journal of Comparative and Physiological Psychology, 66, 1-5.
39
Kontiguität oder Kontingenz?
Das Experiment von Rescorla (1968)
P(US|CS) = 1 und P(US|¬CS) = 0 (perfekte Kontingenz)
P(US|CS) = 1 und P(US|¬CS) > 0 (d.h. CS liefert weniger Information über
das Auftreten des US, da der US häufig auch ohne CS auftritt)
40
Gruppe A: P(US|CS) = 1 aber P(US|¬CS) > 0
Gruppe B: P(US|CS) = 1 und P(US|¬CS) = 0
Kontiguität oder Kontingenz?
Das Experiment von Rescorla (1968)
41
Kontiguität oder Kontingenz?
Das Experiment von Rescorla (1968)
Bedingte Wahrscheinlichkeiten im Experiment von Rescorla
p(US|CS)
0 .1 .2 .4
p(US|¬CS)
0 0 .1 .2 .4
.1 0 .1 .3
.2 0 .2
.4 0
In den Zellen steht jeweils die Kontingenz = p(US|CS) - p(US|¬CS)
43
Kontiguität oder Kontingenz?
Ergebnisse von Rescorla (1968)
p(US|¬CS) = 0
p(US|¬CS) = .1
p(US|¬CS) =.2
p(US|¬CS) = .4
p(US|CS)
0.5 = Reaktions-häufigkeit wird nicht durch CS beeinflusst
0 = Verhalten wird während des CS vollständig unterdrückt
44
Kontiguität oder Kontingenz?
Ergebnisse von Rescorla (1968)
Erhöhung der Kontiguität hatte keinen Einfluss auf das Lernen, wenn die US-Basisrate im gleichen Maß erhöht wurde ( CS
vermittelte keine Information über das Auftreten des US)
Bei gegebener Kontiguität führt jede Verringerung der Basisrate zu einer Erhöhung der Kontingenz Verbesserung der
Konditionierung
Das Ausmaß der Konditionierung hängt davon ab, wie gut der CS den US vorhersagt
Klass. Kond. kann als eine Art statistischer Inferenz betrachtet werden
47
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
49
Konditionierte Inhibition
Was passiert, wenn der US nie zusammen mit dem CS auftritt (Kontiguität = 0), aber die US-Basisrate hoch ist?
Schock ¬Schock
Ton 0 8 8
¬Ton 6 2 8
6 10
Kontiguität:
p(US|CS) = 0/8= .0
Kontingenz:
p(US|CS) - p(US|¬CS) = 0 – 6/8 = -.8
Negative CS-US Relation wird gelernt
CR wird seltener oder schwächer gezeigt als es ansonsten der Fall wäre
CS wird zum Signal dafür, dass kein US folgt: CS = „conditioned inhibitor“
50
Konditionierte Inhibition, „Compound CS“ und Summationstest
Klick Schock CER
Pawlow, 1927; Zimmer-Hart & Rescorla, 1974
Klick
Licht
Keine CER
1. Training
2. Summationstest
Ton Schock CER
reduzierte CER Ton
Licht
51
Konditionierte Inhibition: Verzögerungstest
Klick Schock CER
Klick
Licht
Keine CER
1. Training
2. Verzögerungstest
Licht Schock Verzögerter Erwerb
der CER
Pearce, Nicholas und Dickinson (1982) 52
Konditionierte Inhibition: Schlussfolgerungen
Ein CS, der die Abwesenheit des US vorhersagt, führt zu einer Inhibition der CR
Kontingenz (in diesem Fall negative Korrelation) ist entscheidend
für klassisches Konditionieren
53
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
55
Blocking (Kamin, 1969)
Kontrollgruppe
Ton
Licht
16 Durchgänge 8 Durchgänge Test
Schock
Ton
Schock Ton
Licht Schock Keine CR
Das Licht erhöht in der Exp-Gruppe nicht die Vorhersagbarkeit des US und wird auch nicht gelernt
Experimental- gruppe
Licht
Licht CER
CER CER
CER
57
Blocking (Kamin, 1969)
58
Blocking und relativer Informationsgehalt (Wagner, 1969)
Ton
Licht Schock Gruppe 1
(200 x)
Ton
Licht Schock
Gruppe 2
Licht Schock
(200 x)
(200 x)
gemischt mit
Gruppe 3 Ton
Licht Schock (200 x)
Licht
gemischt mit
Kein Schock (200 x)
Ton CR
Ton Stärkere
CR
Ton Keine
CR
Licht ist besserer Prädiktor
Licht ist kein guter Prädiktor 59
Schlussfolgerung
Wenn CS1 ein besserer Prädiktor des US ist als ein CS2, dann blockiert der CS1 die Konditionierung des CS2
Ausmaß der Konditionierung hängt vom relativen Vorhersagewert des CS ab
60
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Varianten: Lidschlagkonditionierung und konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Biologische Einschränkungen und angeborene Lerndispositionen
61
Die Rescorla-Wagner-Theorie
Ziel: möglichst viele Phänomene beim Klassischen Konditionieren durch einen einheitlichen Lernmechanismus zu erklären
Mathematische Formalisierung
Die von Rescorla & Wagner angenommene Lernregel entspricht der sog. Delta-Regel in Lernmodellen auf der Basis neuronaler Netze
Rescorla, R. A. & Wagner, A. R. (1972). A theory of Pavlovian conditioning: Variations on the effectiveness of reinforcement and nonreinforcement. In A. H. Black & W. F. Prokasy (Eds.), Classical conditioning: II. Current research and theory (pp. 64-99). New York: Appleton-Century-Crofts.
62
Die Rescorla-Wagner-Theorie Grundannahmen
1. Ist die Intensität des US größer als erwartet, werden alle CS, die mit dem US gepaart werden, exzitatorisch konditioniert
2. Ist die Intensität des US geringer als erwartet, werden alle CS, die mit dem US gepaart werden, inhibitorisch konditioniert
3. Ist die Intensität des US so wie erwartet, findet keine Konditionierung statt
4. Je größer die Diskrepanz zwischen erwarteter und tatsächlicher Intensität des US (der Vorhersagefehler), desto stärker ist die Konditionierung
5. Je auffälliger (salienter) ein Reiz ist, desto schneller wird er konditioniert
6. Werden zwei oder mehr CS präsentiert, werden die mit diesen verbundenen Erwartungen des US zu einer Gesamterwartung summiert
63
Die Rescorla-Wagner-Theorie Mathematische Fomulierung
V = ( - V)
V =Veränderung der CS-US-Assoziationsstärke im aktuellen Lerndurchgang
V = erwartete Stärke des US (spiegelt die aktuelle Stärke der CS-US-Assoziation, die bestimmt wie stark der CS die Repräsentation des US aktiviert)
= tatsächliche Stärke/Intensität des US
-V = Vorhersagefehler (prediction error)
= konstante Lernrate (Funktion der Salienz des CS; 0 ≤ K ≤ 1)
Die Änderung der Assoziationsstärke als Folge einer einzelnen CS-US-Paarung ist proportional zur (mit der Lernrate gewichteten) Differenz zwischen erwarteter und tatsächlicher US-Intensität
Lernen findet statt, wenn die erwartete und tatsächliche Stärke des US voneinander abweichen: |( - V)| > 0
64
V = ( - V)
= 100, = .2
Stärke der CS-US-Assoziation = 0
Nach 1. Lerndurchgang:
V = .2 x (100 - 0) = 20
Assoziationsstärke: V = 0 + 20 = 20
Nach 2. Lerndurchgang:
V = .2 x (100 - 20) = 16
Assoziationsstärke: V = 20 + 16 = 36
Die Rescorla-Wagner-Theorie Ein Beispiel
65
0
10
20
30
40
50
60
70
80
90
100
1 3 5 7 9 11 13 15 17 19
Asso
zia
tion
sstä
rke
Lerndurchgänge
Die Rescorla-Wagner-Theorie
[Gluck, Mercado & Myers: Learning and Memory, 1st ed.] Copyright © 2008 by Worth Publishers
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Lidschlusskonditionierung u. konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung
Das Rescorla-Wagner-Modell
Anwendungen des Rescorla-Wagner-Modells
Occasion setting und Kontextkonditionierung
Biologische Einschränkungen und angeborene Lerndispositionen
Neurobiologische Gundlagen
Klassisches Konditionieren im Alltag 70
Vorhersagen des R-W-Modells für mehrere CS
US: Futter, CSA: Ton, CSB: Licht
Die Gesamtassoziationsstärke beider CS ist gleich der Summe der einzelnen Assoziationsstärken des CSA und CSB mit dem US
Bei gleicher Lernrate (Salienz) für CSA und CSB ergibt sich:
VAB = VA + VB
VA = ( - VAB)
VB = ( - VAB)
für beliebig viele CSN gilt: V = ( - VN)
72
Vorhersagen des R-W-Modells für mehrere CS
Compound conditioning und kompetitives Lernen
Trial 1:
VA = VB = .20(100 – 0) = 20
VAB = 40
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8 9 10
CS allein
CS zusammen
mit zweitem CS
Lerndurchgänge
Asso
zia
tio
nsstä
rke
Trial 2:
VA = VB = .20(100 – 40) = 12
(statt: VA = .20(100 – 20) = 16 bei einem CS)
73
V = ( - VN)
Vorhersagen des R-W-Modells für mehrere CS
Compound conditioning und kompetitives Lernen
Copyright © 2008 by Worth Publishers
Einfache Konditionierung Compound-Konditionierung
Vorhersagen des R-W-Modells für mehrere CS
Compound conditioning und kompetitives Lernen
Die einzelnen CS müssen sich die maximale Assoziationsstärke teilen (d.h. sie „konkurrieren“ darum, mit dem US assoziiert zu werden)
Ein CS, der zusammen mit einem weiteren CS dargeboten wird, kann daher nur noch einen Teil der maximalen Stärke erreichen
Das Modell sagt eine Reihe von Effekten vorher:
• Überschattung
• Blocking
• Konditionierte Inhibition
75
Anwendungen des Rescorla-Wagner-Modells Überschattung
Trial 1:
VA = .40(100 – 0) = 40
VB = .10(100 – 0) = 10
VAB = 50
0
10
20
30
40
50
60
70
80
90
100
1 2 3 4 5 6 7 8
salient
wenig salient
Lerndurchgang
Trial 2: VA = .40(100 – 50) = 20
VB = .10(100 – 50) = 5
Zwei CS mit unterschiedlicher Salienz:
76
Anwendungen des Rescorla-Wagner-Modells Blocking
Kontrollgruppe
Ton
Licht
16 Durchgänge 8 Durchgänge Test
Schock
Ton
Schock Ton
Licht Schock Keine CR Experimental-
gruppe
Licht
Licht CER
CER CER
CER
Nach ersten 16 Durchgängen hat Ton (CSA) nahezu maximale Assoziationsstärke erreicht (VA = = 100), daher wird Licht (CSB) nicht mehr konditioniert
VA = 100
VB = 0
VAB = VA + VB = 100
VB = ( - VAB) = (100 - 100) = 0
77
Copyright © 2008 by Worth Publishers
Anwendungen des Rescorla-Wagner-Modells Blocking
78
Blockierungseffekte bei Menschen
Kategorien-Lern-Experiment (Bower & Trabasso, 1964)
79
Konditionierte Inhibition: Verzögerungstest
Klick Schock CER
Klick
Licht
Keine CER
1. Training
2. Verzögerungstest
Licht Schock Verzögerter Erwerb
der CER
Pearce, Nicholas und Dickinson (1982) 81
Konditionierte Inhibition im Rescorla-Wagner-Modell
83
Zusammenfassung des Rescorla-Wagner-Modells
Lernzuwachs ist proportional zur Differenz der aktuellen Assoziationsstärke und der erwarteten Assoziationsstärke
Lernen findet nur statt, wenn es eine Diskrepanz zwischen erwarteter und tatsächlicher US-Intensität gibt (entspricht der sog. Delta-Regel in neuronalen Netzwerkmodellen)
Mehrere CS konkurrieren darum, mit dem US assoziiert zu werden
R-W-Regel sagt viele Befunde zum klass. Kond. korrekt vorher (Überschattung, Blockierung, kond. Inhibition)
85
Probleme des Rescorla-Wagner-Modells
1. Latente Inhibition
Wiederholte Darbietung des CS vor der Lernphase („pre-exposure“) führt zu langsamerer Konditionierung
86 Gluck, Mercado and Myers: Learning and Memory, First Edition Copyright © 2008 by Worth Publishers
Lidschlagkonditionierung bei Kaninchen
Probleme des Rescorla-Wagner-Modells
1. Latente Inhibition
Wiederholte Darbietung des CS vor der Lernphase („preexposure“) führt zu langsamerer Konditionierung
Wird nicht durch Rescorla-Wagner vorhergesagt
Kann durch Zusatzannahme erklärt werden, dass vorherige
Darbietung die Salienz des CS und damit die Lernrate reduziert
87
= .2
Vor der Darbietung des CS:
VA = 0
Trial 1: Klick allein, d.h. = 0
VA = .20(0 – 0) = 0
VA = 0
V = ( - V)
Eine alternative Theorie: Aufmerksamkeitstheoretischet Ansatz von Mackintosh
Hypothese von Mackintosh (1975): Salienz () ändert sich mit dem Informationswert des CS
Je besser CS den US vorhersagt, umso größer wird seine Salienz umso mehr Aufmerksamkeit wird ihm zugewendet
Erklärt latente Inhibition: Während Präexposition lernt Lebewesen, dass der CS keinen Informationsgehalt hat und beachtet ihn daher nicht mehr
Erklärt Blocking-Effekt:
• Phase 1: CS1 gewinnt an Informationswert (sagt US vorher) Salienz steigt wird stärker beachtet
• Phase 2: CS2 hat keinen zusätzlichen Informationswert geringe Salienz wird nicht beachtet keine Konditionierung
Mackintosh, N.J. (1975). A theory of attention: Variations in the associability of
stimuli with reinforcement. Psychological Review, 82, 276-298. 88
Probleme des Rescorla-Wagner-Modells
2. Lernen von Reizkonfigurationen (Patterning)
Rescorla-Wagner: bei zusammengesetzten Reizen (compound stimuli) ist die Assoziationsstärke für die Kombination (CS1+CS2) gleich der Summe der Assoziationsstärken der einzelnen CS
Aber: viele Befunde sprechen dafür, dass bei zusammengesetzten Reizen die einzelnen CS nicht isoliert voneinander konditioniert werden (z.B. Pearce, 1994)
Z.B. positives und negatives Patterning
[CS1+CS2 US] aber [CS1 ¬US] und [CS2 ¬US]
[CS1 US] or [CS2 US] aber [CS1+CS2 ¬US]
89
Probleme des Rescorla-Wagner-Modells
2. Lernen von Reizkonfigurationen (Patterning)
Kein Schock
Licht
Schock Ton
Licht
Schock Ton
Schock Licht
Kein Schock Ton
Licht
Ton Kein
Schock
CR wenn Licht+Ton Keine CR, wenn Licht oder Ton allein
CR wenn Licht oder Ton allein Keine CR, wenn Licht+Ton
Ist nicht durch Bildung isolierter CS-US-Assoziationen zu erklären! Gelernt werden Assoziationen auf Reizkonfigurationen!
Positive patterning Negative patterning
Aber:
Aber:
90
Probleme des Rescorla-Wagner-Modells
2. Lernen von Reizkonfigurationen (Patterning)
Negatives Patterning bei der Lidschlag-Konditionierung von Kaninchen (Kehoe, 1988)
91
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Lidschlusskonditionierung u. konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Anwendungen des Rescorla-Wagner-Modells
Occasion setting und Kontextkonditionierung
Biologische Einschränkungen und angeborene Lerndispositionen
Neurobiologische Gundlagen
Klassisches Konditionieren im Alltag 93
Occasion setting
• Reize können beeinflussen, ob ein Lebewesen auf einen CS reagiert
• Ross & Holland (1981):
Futter Licht Ton 50% Durchgänge:
Kein Futter Ton 50% Durchgänge:
Ton- spezifische
CR
Licht Ton
Keine CR Ton
Lernphase
Testphase
• Das Licht wird zu einem „occasion setter“, anzeigt, ob der Ton von Futter gefolgt wird oder nicht
• Reize können auch negative occasion setter werden, wenn sie anzeigen, dass auf einen CS kein US folgt
94
Occasion setting
Futter
Licht
Ton CR
Modell von Holland (1983)
Vorhersage: Occasion setter (OS) sollte nur CR auf den Ton beeinflussen, nicht aber CR auf andere CS, die mit dem US gepaart wurden
Alternative These (Rescorla, 1985): OS fördert auch die Aktivierung der US-Repräsentation durch beliebige andere CS
Davidson & Rescorla (1986):
• Ton als OS für Lichtblitz
• Dauerhaftes Licht als OS für Klicken
• In Testphase wurden die OS vertauscht: Der Ton kontrollierte nun die Reaktion auf das Klicken und das dauerhafte Licht die Reaktion auf den Lichtblitz
95
Kontextkonditionierung
CS als auch US können mit Kontextreizen assoziiert werden (z.B. Käfigumgebung, Gerüche, Hintergrundgeräusche)
Evidenz für Kontext-CS-Assoziation
• CS löst stärkere CR aus, wenn er im gleichen Kontext dargeboten wird wie bei der Konditionierung (Bouton & Bolles, 1985)
Evidenz für Kontext-US-Assoziation
• Ortspräferenz: Wenn Ratten in einem bestimmten Teil eines Labyrinths Futter erhalten, halten sie sich länger dort auf
• US-Präexpositionseffekt: Konditionierung eines CS ist langsamer, wenn der US wiederholt vor der Konditionierung allein im Kontext präsentiert wurde US wird bereits aufgrund des Kontexts erwartet nach R-W geringes Lernen
(Domjan & Best, 1980)
97
99
Überblick zum Klassischen Konditionieren
Standardparadigma des Klassischen Konditionierens
Basisphänomene: Akquisition, Extinktion, Spontanerholung
Disinhibition und Rekonditionierung
Lidschlusskonditionierung u. konditionierte emotionale Reaktionen
Effekte der zeitlichen Relation zwischen CS und US
Generalisierung und Diskrimination
Was ist die konditionierte Reaktion?
S-R Lernen oder S-S Lernen?
Kontiguität oder Kontingenz?
Konditionierte Inhibition
Blockierung und konfigurale Cues
Das Rescorla-Wagner-Modell
Anwendungen des Rescorla-Wagner-Modells
Occasion setting und Kontextkonditionierung
Biologische Einschränkungen und angeborene Lerndispositionen
Neurobiologische Gundlagen
Klassisches Konditionieren im Alltag 100
Angeborene Lerndispositionen
Kontiguität und Geschmacks-Aversions-Lernen
Um 1960: Annahme, dass Lernen nicht möglich, wenn zwischen CS und US mehr als einige Sekunden liegen (Kimble, 1961)
Aber: Garcia, Ervin & Koelling (1966)
• Ratten erhielten Wasser mit Saccharingeschmack (CS)
• Danach Injektion, die Übelkeit verursacht (US)
• CS-US-Intervall: zwischen 5 – 22 Minuten (über 100 mal so lang wie üblicherweise beim K.K.)
• Ratten lernten dennoch, Wasser nicht mehr zu trinken
• Spätere Experimente: Ratten lernen selbst bei 24 Std. CS-US-Intervall
Ist evolutionär betrachtet adaptiv:
• vergiftete Nahrung führt oft erst nach längerer Zeit zu Übelkeit etc.
• Lebewesen, die Übelkeit auch über längere Zeitintervalle mit Nahrung assoziieren, haben höhere Überlebenschance
101
Angeborene Lerndispositionen
Preparedness
Dogma der klassischen Lerntheorie: Beliebige CS können mit beliebigen US assoziiert werden
• Pawlow (1928): „Jedes natürliche… Phänomen kann zu einem konditioniertem Stimulus werden… jeder optische Reiz, jedes beliebige Geräusch, jeder Geruch und die Stimulation beliebiger Hautregionen“
Aber: Leichtigkeit, mit der verschiedene CS mit einem bestimmten US assoziiert werden können, kann stark variieren
Ist Hinweis auf angeborene Lernbereitschaften
102
Angeborene Lerndispositionen Experiment von Garcia & Koelling, 1966
Geschmack (Zuckerwasser)
+ Lichtblitz
+ Klick
Gift Übelkeit
Zucker- Wasser
Neutral schmeckendes
Wasser +
Lichtblitz +
Klick
Geschmack (Zuckerwasser)
+ Lichtblitz
+ Klick
Elektroschock
Gruppe 1 Gruppe 2
Zucker- Wasser
Neutral schmeckendes
Wasser +
Lichtblitz +
Klick
CR = konsumierte Wassermenge
CS
US
104
Angeborene Lerndispositionen Experiment von Garcia & Koelling, 1966
Geschmacksreiz ist ein besseres Signal für Übelkeit
Geräusch+Lichtreiz ist ein besseres Signal für Schmerz
105
Angeborene Lerndispositionen
Schlussfolgerung
• Wie leicht ein CS mit einem US assoziiert wird, hängt von angeborenen Lernbereitschaften ab, die durch natürliche Selektion entstanden sind
• „the organism brings an associative apparatus, which has a long and specialized evolutionary history… The organism may be more or less prepared by the evolution of the species to associate a given CS and US or a given response with an outcome.“ (Seligman, 1970, p. 407)
Erklärt Befunde von Garcia & Koelling
• Übelkeit wird meist durch schlechtes Essen verursacht, aber praktisch nie durch akustische Reize
• Schmerz und Verletzungen sind häufig mit audio-visuellen Reizen assoziiert
• Weitere Beispiele
• Spinnen oder Schlangen sind häufiger Objekte von Phobien als z.B. Steckdosen oder Autos (Öhman, Dimberg & Öst, 1985)
• Affen lernen schneller, auf Schlangen als auf Blumen mit konditionierter Furcht zu reagieren (Cook & Mineka, 1990)
107
Angeborene Lerndispositionen Experimente von Öhman et al. Zur Furchtkonditionierung
leichte
Elektroschocks
CS ohne US: CER bleibt lange
Zeit erhalten
(hohe Löschungsresistenz)
CS US
+
CER (elektrodermale Reaktion)
CS ohne US: CER wird schnell
reduziert
(geringe Löschungsresistenz)
leichte
Elektroschocks +
108
Angeborene Lerndispositionen
Präattentive Verarbeitung und unbewusste Furchtkonditionierung
Annahme angeborener Überwachungs- und Abwehrfunktionen für furchtrelevante Reize
Ermöglichen schnelle und präattentive Identifikation gefährlicher Reize
Läuft unbewusst ab und kann zu Schreckreaktion führen, ohne dass Reiz bewusst erkannt wird
Reize, die aufgrund dieses präattentiven Mechanismen als bedrohlich eingestuft wurden, werden danach bevorzugt weiter verarbeitet / ziehen Aufmerksamkeit auf sich
Experimentelle Evidenz: Furchtkonditionierung auf unterschwellig (maskiert) dargebotene Reize (z.B. Bilder von Schlangen)
Öhman, A., & Soares, J. J. F. (1998). Emotional conditioning to masked stimuli: Expectancies for aversive
outcomes following nonrecognized fear-relevant stimuli. Journal of Experimental Psychology: General, 127, 69-82 109
Angeborene Lernbereitschaften vs. allgemeine Lernprinzipien
Ratten lernten, Hebel zu drücken um Futter zu erhalten
Schocks sollten Verhalten unterdrücken
U.V. Zeitabstand zwischen Verhalten und Schock
a) nach Baron, Kaufman & Fazzini, 1969 b) nach Andrews & Braveman, 1975
Verzögerung des Elektroschocks
(Sekunden)
Verzögerung der Giftgabe
(Stunden)
0 20 40 60 0 5 10 15 20 25
100
50
0
10
5
0
Geschmacks-Aversions-Lernen bei Ratten
Saccharinlösung -> Übelkeit
U.V. Zeitabstand zwischen Verhalten und Schock
113
Klassisches Konditionieren außerhalb des Labors
K.K. spielt wichtige Rolle beim Erwerb emotionaler Reaktionen (
Phobien)
K.K. liegt bestimmten verhaltenstherapeutischen Interventionen zugrunde
• systematische Desensibilisierung:
- durch allmähliche Annäherung an eine furchtauslösende Situation bei gleichzeitiger Entspannung soll Furcht gelöscht werden
- Angsthierarchie – Entspannungstraining - allmähliche Annäherung
• Aversive Gegenkonditionierung:
- unerwünschtes Verhalten (z.B. übermäßiger Alkoholkonsum) soll durch Assoziation mit einer unvereinbaren aversiven Reaktion unterdrückt werden
- CS(Alkohol) + US(Übelkeit) CR(Ekel)
• Exposition:
- Konfrontation mit einer furchtauslösenden Situation (z.B. hoher Turm, Fahrstuhl, belebter Platz) ohne dass negative Konsequenz eintritt Löschung
Klass. Konditionierung des Immunsystem
114