wstęp do kognitywistyki obliczenia neuropodobne. bez reguł
DESCRIPTION
Marcin Miłkowski. Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł. O czym będzie mowa. Neurony jako elementy obliczeniowe Perceptron i problemy koneksjonizmu Renesans koneksjonizmu Rumelhart i McClelland o uczeniu się czasowników. McCulloch i Pitts (1943). - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/1.jpg)
Marcin Miłkowski
![Page 2: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/2.jpg)
O czym będzie mowa
Neurony jako elementy obliczeniowe
Perceptron i problemy koneksjonizmu
Renesans koneksjonizmu Rumelhart i McClelland o uczeniu się czasowników
![Page 3: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/3.jpg)
McCulloch i Pitts (1943)
Pierwszy model mózgu jako sieci neuronów.
Neurony to elementy cyfrowe. Albo przewodzą prąd, albo nie.
Neurony jako bramki logiczne: odpowiednio połączone są równie silne jak maszyna Turinga.
![Page 4: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/4.jpg)
Perceptron
F. Rosenblatt (1957): uczące się sieci neuronowe – perceptrony.
Przez modyfikację połączeń między neuronami można zmienić działanie sieci.
Wystarczy dopasować wagę połączeń tak, aby wejściu odpowiadało odpowiednie wyjście. Wtedy perceptron rozpoznaje wzorce.
![Page 5: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/5.jpg)
Perceptron jako klasyfikator
Wiele wejść (X1... X7) Wiele wag (W1... W7) Jedno wyjście (y), binarne Perceptron daje odpowiedź „tak” lub „nie”.
Klasyfikacja =rozpoznawaniewzorca
![Page 6: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/6.jpg)
Mark I Perceptron
Wczesne perceptrony były częściowo mechaniczne (potencjometry i silniczki!)
Wielki entuzjazm
![Page 7: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/7.jpg)
Minsky i Papert (1969): koniec wczesnego koneksjonizmu Perceptrony nie nauczą się nawet prostych funkcji takich jak alternatywa rozłączna (XOR)!
![Page 8: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/8.jpg)
Sieci wielowarstwowe
Sieci z wieloma warstwami neuronów mogą zrealizować każdą obliczalną funkcję matematyczną.
W 1969 roku nie był znany algorytm ich uczenia, a algorytm perceptronu nie wystarczał.
Lata 80: algorytm propagacji wstecznej. Renesans koneksjonizmu!
![Page 9: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/9.jpg)
Koneksjonizm klasyczny
Sztuczne sieci neuronowe symulują procesy poznawcze.
W latach 1980 były bardzo uproszczone.
Zwykle trzy warstwy
![Page 10: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/10.jpg)
Koneksjonizm
Sieci nerwowe przekształcają sygnał wejściowy na wyjściowy, a nie symbole.
Przekształcenie zależy od wag połączeń. Uczenie sieci to ustawianie wag.
Sieci pracują równolegle, a nie sekwencyjnie jak GPS. I nie ma w nich żadnych reguł!
![Page 11: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/11.jpg)
Koneksjonizm klasyczny
James McClelland (Stanford University)
David E. Rumelhart (1942-2011)
![Page 12: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/12.jpg)
Nabywanie czasu przeszłego w j. angielskim Końcówki czasu past simple
Regularne (90%) talk => talked pit => pitted
Nieregularne (10%) hit => hit get => got go => went
Jak dzieci to opanowują?
![Page 13: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/13.jpg)
Fazy rozwojowe: wizja tradycyjna Faza 1: Uczenie na pamięć
początkowo bezbłędnie, ale mało czasowników
Faza 2: Wydobywanie reguły nadmierna regularyzacja (comed jako forma przeszła come)
Faza 3: Reguły + pamięć usuwanie błędów: współistnienie form regularnych i nieregularnych
![Page 14: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/14.jpg)
Nabywanie czasu przeszłego
Tradycyjne modele wyjaśniające postulują reguły: w końcu regularnych jest 90% czasowników!
Reguły przekształceń wyjaśniają tworzenie czasu przeszłego.
Czy można to wyjaśnić inaczej?
![Page 15: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/15.jpg)
Bez reguł!
Rumelhart & McClelland (1986) pokazali, że rozproszone sieci przetwarzające równolegle to konkurencja dla symbolicznych systemów reguł;
wyuczenie sieci odpowiada rozwojowi umiejętności u dzieci i wyjaśnia dynamikę nabywania końcówek.
Fazy uczenia się odpowiadają fazom rozwojowym dzieci.
![Page 16: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/16.jpg)
Co jest modelowane?
Newell & Simon gromadzili raporty werbalne, Rumelhart & McClelland opierają się na prawidłowości statystycznej w populacji.
Też postuluje się etapy przetwarzania tak samo jak w GPS-ie i jak u Marra.
![Page 17: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/17.jpg)
Reprezentacja fonemów
Reprezentacja wymowy samych czasowników (bez kontekstu!) zaproponowana przez W. Wickelgrena (1969)
Fonemy jako wzorce strukturalne, tzw. Wickelfeatures
Wickelfeatures to wejście i wyjście sieci
Model stanowi idealizację
![Page 18: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/18.jpg)
Wiele zachowań, jedna sieć
Wejście: rdzeńczasownika
Wyjście:czas przeszły czasownika
Wagi określają zachowanie sieci. Nie ma tworzenia czasowników na podstawie reguł i na podstawie zapamiętanych wyjątków.
Wickelfeature Representation of Stem
Wickelfeature Representation of Past Tense
![Page 19: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/19.jpg)
Wyniki
Wysoka poprawność modelu (zgodność danych o dzieciach i wyjścia sieci): ponad 90% Jest transfer tworzenia na nowe formy, 92% poprawności dla regularnych, 84% dla nieregularnych
Sieć przewiduje zachowanie dzieci w wieku przedszkolnym znane z badań (Bybee & Slobin 1982)
![Page 20: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/20.jpg)
Wyniki
Rozwój i uczenie są U-kształtne
Występuje nadmierna generalizacja
A potem błędyzanikają
50
55
60
65
7075
80
85
90
95
100
0 100 200
% C
orre
ct P
ast T
ense
Training Epochs
Irregulars
Regulars
Vocabulary discontinuity
![Page 21: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/21.jpg)
Dowód możliwości
Sieć nabywa czasu przeszłego bez reprezentowania reguł
Ale Rumelhart i McClelland pokazują tylko, że wyuczenie sieci symulującej fazy zachowania jest możliwe (lub wystarczające)
Nie ma świadectw empirycznych, że to robi układ nerwowy, nawet w przybliżeniu!
![Page 22: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/22.jpg)
Krytyka Pinkera i Prince’a (1988) Błędne wyjaśnienie. Fonologia nie wystarcza!
Np. homofony wring i ring mają zupełnie różne nieregularne formy czasu przeszłego (wrung i rang). Ta sieć się tego nie nauczy.
Sieć gubi strukturalne własności ciągów fonemów (traktuje je jak nieuporządkowane zbiory, worki!)
![Page 23: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/23.jpg)
Rozwój badań
W kolejnych modelach odrzucono Wickelfeatures.
Wprowadzono warstwę ukrytą. Sam Pinker zaproponował teorię hybrydową „wyrazy i reguły”: reguły – czasowniki regularne; sieć neuronowa – pamięć nieregularnych.
Ale nie istnieje pełen komputerowy model.
![Page 24: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/24.jpg)
Problem z frekwencją
Rumelhart i McClelland badali prawidłowości statystyczne: ich model korzystał z listy frekwencyjnej czasowników. Najpierw podawano czasowniki najczęstsze, potem rzadsze.
I takie etapy uczenia mogły stwarzać wrażenie podobieństwa do dzieci.
Ale dzieci słyszą rzadsze czasowniki od razu! Tylko rzadziej...
![Page 25: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/25.jpg)
Nabywanie czasu przeszłego
Metodologia: Analiza zdolności, w tym możliwych reprezentacji wejścia i wyjścia (Wickelfeatures)
Gromadzenie danych o zachowaniu (wcześniejsze badania)
Zbudowanie i wytrenowanie sieci za pomocą informacji wejściowych i wyjściowych
Przetestowanie na danych behawioralnych
![Page 26: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/26.jpg)
Pojedynczy badany kontra populacja Wyjście sieci uśrednia wyniki w populacji. Żadne konkretne dziecko może tak nie mówić. Niebezpieczeństwo, że u różnych badanych występują różne mechanizmy psychologiczne!
To niebezpieczeństwo jest nawet w modelach neurologicznych, bo mózgi się różnią
Newell i Simon badali pojedynczych ludzi. Bezpieczny konserwatyzm.
![Page 27: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/27.jpg)
Symbole i sieci
Newell & Simon Rumelhart & McClelland
1. Analiza zadania, w tym możliwych reprezentacji rozwiązywanego zadania
2. Zgromadzenie danych o zachowaniu
3. Zbudowanie reguł produkcji (reguły przepisywania symboli) do szukania rozwiązania
4. Test na danych
1. Analiza zadania, w tym reprezentacji wejścia i wyjścia (Wickelfeatures)
2. Zgromadzenie danych o zachowaniu
3. Zbudowanie i wytrenowanie sieci za pomocą informacji WE i WY
4. Test na danych
![Page 28: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/28.jpg)
Kompetencja i wykonanie (Chomsky) Kompetencja językowa: znajomość języka
Wykonanie językowe: zachowanie użytkowników języka
U Chomsky’ego kompetencja jest (prawie) bezbłędna. Badanie wykonania jest nieinteresujące.
Koneksjoniści badają zmiany kompetencji.
![Page 29: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/29.jpg)
Swoistość koneksjonizmu
Zrealizowanie całej sieci w komputerze pozwala badać bardzo złożone zjawiska, których nie sposób sobie wyobrazić. Modele werbalne (np. Pinkera „wyrazy i reguły”) nie mają tej zalety.
Koneksjoniści często modyfikują sieci i badają ich własności.
![Page 30: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/30.jpg)
Niebezpieczeństwo koneksjonizmu Bardzo złożone sieci neuronowe są trudne do zrozumienia.
Paradoks Boniniego: zjawisko wyjaśniane może być równie trudne do pojęcia, jak jego wyjaśnienie.
Wypracowano metody badania struktury sieci neuronowych, aby sobie z tym poradzić. Analiza sieci po treningu...
![Page 31: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/31.jpg)
Koneksjonizm: mity i rzeczywistość Sztuczne sieci neuropodobne są bliższe mózgowi niż maszyna Turinga. Ale i tak są boleśnie uproszczone.
Sieci łagodnie obniżają poziom działania, a maszyna Turinga po prostu nie może działać po uszkodzeniu reguły. Systemy klasyczne też to potrafią, ale muszą mieć odpowiednią strukturę.
![Page 32: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/32.jpg)
Koneksjonizm: mity i rzeczywistość Sieci neuronowe działają w czasie rzeczywistym, a maszyna Turinga – w dyskretnym czasie kroków obliczania. W rzeczywistości sieci neuronowe stosują ograniczenie „100 kroków na sekundę”, bo koneksjoniści zakładają, że mózg nie może wykonać więcej operacji.
Mocno kontrowersyjne założenie. Do czasu rzeczywistego stąd daleko...
![Page 33: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/33.jpg)
Koneksjonizm: mity i rzeczywistość Sieci świetnie rozpoznają wzorce i generalizują. W istocie to potrafi wiele innych algorytmów uczenia maszynowego. Ale szybciej (np. Support Vector Machines, SVM).
![Page 34: Wstęp do kognitywistyki OBLICZENIA NEUROPODOBNE. Bez reguł](https://reader035.vdocuments.mx/reader035/viewer/2022062410/568153d7550346895dc1cc58/html5/thumbnails/34.jpg)
W następnym odcinku
Układy dynamiczne i raczkujące dzieci