experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí
DESCRIPTION
Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí. Vedúci / Konzultant : prof. Ing. Peter Sin čák, Csc. Ing. Rudolf Jakša, PhD Ing. Juraj Koščak. Úvod. zjednodušenie implement á c i e algoritmu BPTT pre rozne topologie siete. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/1.jpg)
Experimentálna analýza algoritmu náhodného výberu váh pre učenie
neurónových sietí
Vedúci / Konzultant: prof. Ing. Peter Sinčák, Csc.Ing. Rudolf Jakša, PhD Ing. Juraj Koščak
![Page 2: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/2.jpg)
2
Úvod
• zjednodušenie implementácie algoritmu BPTT pre rozne topologie siete.
• BPTT – implementačne náročný• overenie modifikácie na
jednoduchom FF BP učení• využitie náhodného výberu váh pri
učení
![Page 3: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/3.jpg)
3
Rozdiel:Poradie preratávania váh
BP rBP
![Page 4: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/4.jpg)
4
Motivácia: použiť menej váh
![Page 5: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/5.jpg)
5
Werbos - základná implementácia
• plné prepojenie siete – neexistujú vrstvy• Werbos – batch learning (prip. online)
![Page 6: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/6.jpg)
6
Werbos vsersus Nasa Modifikácia
![Page 7: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/7.jpg)
7
• topológia: 2x5x2• topológia: 2x10x6x2• iterácii: 2500• alfa moment: 0.95• gama: 0.01• lambda: 0.5• 10 x nahodna inicializácia,
spriemerované hodnoty
Kruh v štorci – BP, rBP, rBP+BP
![Page 8: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/8.jpg)
8
Predpoklad
• Naša modifikácia by mala chodiť pomalšie
• Ale mala by chodiť
![Page 9: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/9.jpg)
9
Kruh v štvorci2x5x2
E
iteracia
![Page 10: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/10.jpg)
10
Kruh v štvorci2x10x6x2
E
iteracia
![Page 11: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/11.jpg)
11
Kruh v štvorci2x10x6x2
E
iteracia
![Page 12: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/12.jpg)
12
Synteticke dáta (SantaFe) – BP, rBP
• topológia: 2x5x1• topológia: 2x10x6x1• iterácii: 4000• alfa moment: 0.95• gama: 0.01• lambda: 0.5• 10 x nahodna inicializácia,
spriemerované hodnoty
![Page 13: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/13.jpg)
13
Experimenty 2
24
23
221
221 )3.0()3.0( xxxx
)()(2
2
tFxVdt
dx
dt
xd
1122
212
2
124
23
22
214 )()( xaxxaxxxxaV
)sin()( omegattF
![Page 14: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/14.jpg)
14
Synteticke dáta
![Page 15: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/15.jpg)
15
Umelé data2x5x2
iteracia
E
![Page 16: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/16.jpg)
16
Umelé data 2x10x6x1
E
iteracia
![Page 17: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/17.jpg)
17
Stratégia do zirtačnej práce
1. Prvotný experiment – diplomová práca
2. Preskúmatmetódu náhodného výberu váh v učení
3. Vzorová implementácia pre rekurentný BP
4. Reálne dáta - predikcia
![Page 18: Experimentálna analýza algoritmu n áhodného výberu váh pre uč e nie neurónových sietí](https://reader036.vdocuments.mx/reader036/viewer/2022081503/56814e32550346895dbb977e/html5/thumbnails/18.jpg)
18
Ďakujem