cz ii tt_tsne_21022017_public
TRANSCRIPT
Grzegorz Gwardys, Daniel Grzywczak
Wizualizacja danych wysoko-wymiarowych, czyli nie tylko trenowaniem sieci człowiek żyje
Dziękujemy za przybycie !2
https://i.ytimg.com/vi/HXZt-IlClhs/maxresdefault.jpg
Jak widzimy wykład3
▸ Wizualizacja Demo
▸ Cechy wysoko-wymiarowe
▸ T-SNE
Agenda4
Cechy wysoko-wymiaroweRóżne podejścia
5
3 Etapy
Dane
6
Cechy Wizualizacja
▸ Obrazy▸ Audio
▸ LBP▸ MFCC
▸ PCA▸ T-SNE
Ekstrakcja cech
Dane
7
Cechy Wizualizacja
▸ Obrazy▸ Audio▸ Tekst
▸ LBP▸ MFCC▸ Tf-IDF
▸ PCA▸ T-SNE▸
8
Po co nam cechy ?
Trochę o sztucznej inteligencji 9
https://en.wikipedia.org/wiki/Waymo#/media/File:Google_driverless_car_at_intersection.gk.jpghttps://pl.wikipedia.org/wiki/Deep_Blue#/media/File:Deep_Blue.jpghttp://i.wp.pl/a/f/jpeg/27201/hal-9000-odyseja-kosmiczna-2001-kadr-robot-oko-490.jpeg
▸ 1968 - 2001: Odyseja Kosmiczna ▸ 1997 - Deep Blue ▸ 2015 - Waymo.
Trochę o sztucznej inteligencji
Paradoks Moraveca:
10
Reprezentacja danych11
http://3.bp.blogspot.com/-VvKAXKyrsNY/U5Ngtv21IAI/AAAAAAAAFoQ/GWrfGfA2r50/s1600/moving+in+right+direction.gif
12
13
© Urszula Gwardys
14
Po co nam cechy ?
Po co nam cechy ?15
Po co nam cechy ?16
Ja człowiek rozpoznaje obrazy ?17
Ja człowiek rozpoznaje obrazy ?18
Ja człowiek rozpoznaje obrazy ?19
https://lionstalkscience.files.wordpress.com/2015/03/color_differences.jpg
Niektóre cechy obrazowe
▸ Dominant Color Descriptor
▸ Local Binary Patterns
▸ Scale-Invariant Feature Transform
20
Dominant Color Descriptor
Kolor dominujący▸ wartość (przestrzeń LUV)
▸ procent zajmowanej powierzchni
▸ wariancja
21
https://lionstalkscience.files.wordpress.com/2015/03/color_differences.jpg
Dominant Color Descriptor22
https://datasciencelab.wordpress.com/2013/12/12/clustering-with-k-means-in-python/http://sipl.technion.ac.il/Info/Teaching_Projects_1-1-10_e.shtml
Local Binary Patterns23
http://bytefish.de/blog/local_binary_patterns/http://www.springer.com/cda/content/document/cda_downloaddocument/9780857297471-c2.pdf?SGWID=0-0-45-1153741-p174122174http://liris.cnrs.fr/Documents/Liris-5004.pdf
Local Binary Patterns24
http://docs.opencv.org/2.4/_images/lbp_yale.jpg
Scale-Invariant Feature Transform25
Scale-Invariant Feature Transform26
Scale-Invariant Feature Transform27
Niektóre cechy muzyczne
▸ Zero-Crossing Rate
▸ Short-Time Fourier Transform
▸ Mel Frequency Cepstrum Coefficient
28
Zero-Crossing Rate29
http://www.ifs.tuwien.ac.at/~schindler/lectures/MIR_Feature_Extraction.html
Short-Time Fourier Transform30
http://isites.harvard.edu/fs/docs/icb.topic541812.files/lec12_spr09.pdf
Short-Time Fourier Transform31
Short-Time Fourier Transform32
http://docs.opencv.org/2.4/_images/lbp_yale.jpg
Short-Time Fourier Transform33
http://paulbourke.net/miscellaneous/dft/dft0.gif
Short-Time Fourier Transform34
Mel Frequency Cepstrum Coefficient
▸ STFT▸ Obliczanie mocy▸ Obliczenie odpowiedzi dla filtrów
zestawu filtrów mel (zwykle 26)▸ Obliczanie DCT dla logarytmu dla
każdego filtru
35
Mel-Frequency Cepstrum Coefficient36
http://practicalcryptography.com/media/miscellaneous/files/10_filt_melfb.pnghttps://pl.wikipedia.org/wiki/Mel_(skala)#/media/File:Mel-Hz_plot.svg
Mel-Frequency Cepstrum Coefficient37
Wszystko ?38
Cechy wyuczoneCzyli ty się ucz, a ja idę na piwo
39
Cechy szyte na miarę40
Sieci Neuronowe
41
Sieci neuronowe42
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe43
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe44
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe45
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe46
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe47
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe48
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe49
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe50
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe51
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe52
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe53
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe54
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe55
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe56
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
57
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe
Sieci neuronowe58
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe59
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe60
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Sieci neuronowe61
http://galaxy.agh.edu.pl/~vlsi/AI/backp_t/backprop.html
Konwolucyjne sieci neuronowe62
http://grzegorzgwardys.ml/
Filtry konwolucyjne - splot63
https://community.arm.com/cfs-file/__key/communityserver-blogs-components-weblogfiles/00-00-00-20-66/4786.conv.png
Filtry konwolucyjne - splot64
Filtry konwolucyjne - splot65
Konwolucyjne sieci neuronowe66
https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/
Konwolucyjne sieci neuronowe67
https://image.slidesharecdn.com/bdm-aprimerondeeplearning-160919151642/95/big-data-malaysia-a-primer-on-deep-learning-23-638.jpg
Cechy na miarę - słabe strony68
Czy możemy nauczonych cech użyć dla innych
danych ?
https://imgflip.com/s/meme/Question-Rage-Face.jpg
AlexNet69
Wyszukiwanie obrazów dla na innych danych70
Rozpoznawanie gatunku muzyki71
Word2vec72
https://blog.acolyer.org/2016/04/21/the-amazing-power-of-word-vectors/http://arxiv.org/pdf/1411.2738v3.pdf
Word2vec73
https://www.tensorflow.org/tutorials/word2vec
Cechy ukryte w systemach rekomendacyjnych74
5 5 4 1 1
4 4 5 00 ?
0 ? 2 5 5
Cechy ukryte w systemach rekomendacyjnych75
użyt
kow
nicy
(m)
przedmioty (n)
R macierz ocen =
użyt
kow
nicy
(m)
cechy (r)
VT macierz cech przedmiotówce
chy
(r)
przedmioty(n)
U macierz cech użytkownika
k
k
Cechy Grzegorza i Star Wars76
~
.9
.9
.4
.5
.7
.9
.8
.7
.7
.9
5 5 4 1 1 .7 .8 .3 .8 .6 .7 .7 .9 .5 .6
T-SNEOd intuicji do szczegółów
Metoda Gradientu Prostego78
https://alykhantejani.github.io/images/gradient_descent_line_graph.gif
Dla regresji liniowej79
Dygresja80
81
https://cdn.meme.am/cache/instances/folder304/500x/63137304.jpg
PCA82
http://weigend.com/files/teaching/stanford/2008/stanford2008.wikispaces.com/file/view/pca_example.gif
Czy PCA odpowiada na właściwe pytanie ?83
https://skybluetrades.net/blog/posts/2011/10/30/machine-learning/test-swiss-roll.png
Stochastic Neighbour Embedding84
yiyjxi
xj
Tak chcę !
85
Dywergencja Kullbacka-Leiblera
▸ Duże pij modelowane przez małe qij
▸ Małe pij modelowane przez duże qij
86
▸ Duże pij modelowane przez małe qij
▸ Małe pij modelowane przez duże qij
87
Dywergencja Kullbacka-Leiblera
SNE - wizualizacja mnist88
http://www.uta.fi/sis/mtt/mtts1-dimensionality_reduction/drv_lecture10.pdf
SNE - wizualizacja mnist89
http://www.uta.fi/sis/mtt/mtts1-dimensionality_reduction/drv_lecture10.pdf
A chcielibyśmy ...90
https://indico.io/blog/wp-content/uploads/2015/08/mnist.jpg
Problem Tłumu91
http://www.todayifoundout.com/wp-content/uploads/2014/11/crowd.jpg
Problem Tłumu92
Skoro chcemy zachować odległość między bliższymi punktami z wyższej przestrzeni ...
Problem Tłumu93
Skoro chcemy zachować odległość między bliższymi punktami z wyższej przestrzeni ...
To mniej “podobne punkty”, w niższej przestrzeni będą od siebie bardzo daleko.
William Sealy Gosset94
http://vignette3.wikia.nocookie.net/beer/images/9/92/Guinness.jpg/revision/latest?cb=20130322204725 https://en.wikipedia.org
t-SNE95
Wysoki wymiar: Niski wymiar:
Interpretacja gradientu96
D
GF
E H
B
A
C sprężynka
Interpretacja gradientu97
D
GF
E H
B
A
C sprężynka
ściskanie/rozciąganie
http://www.artandsciencegraphics.com/wp-content/uploads/Compressing-Spring.gif
Interpretacja gradientu98
D
GF
E H
B
A
C sprężynka
ściskanie/rozciąganie
Suma po wszystkim ...
A gdy dane są duże ?99
3x
D
GF
E H
B
A
C▸ Dlatego algorytm Barnes-Hut
▹ 1986 w Nature▹ O(n log n)▹ NASA/STI Keywords:
Computational Astrophysics ...
A gdy dane są duże ?100
3x
D
GF
E H
B
A
C
A C DB E F G H
● Wystarczająco mały kawałek przestrzeni ?● Wystarczająco odległy od punktu ?
t-sne - największy problem101
http://distill.pub/2016/misread-tsne/
102
https://indico.io/blog/wp-content/uploads/2015/08/mnist.jpg
Przykłady wizualizacji
Przykłady wizualizacji103
https://image.slidesharecdn.com/talkdatasciencemeetup-130125042944-phpapp01/95/talk-data-sciencemeetup-13-638.jpg
Przykłady wizualizacji104
https://deeplearning4j.org/img/faces_tsne.jpg
Przykłady wizualizacji105
http://www.frontiersin.org/files/Articles/181674/fninf-10-00009-HTML/image_m/fninf-10-00009-g008.jpg
Przykłady wizualizacji106
http://nlp.yvespeirsman.be/images/glove-word-embeddings-crime-and-punishment.png
Przykłady wizualizacji107
http://opensource.datacratic.com/mtlpy50/my_redditmap.png
Kodzik t-sne108
https://www.youtube.com/watch?v=yQsOFWqpjkE
Kodzik t-sne109
https://www.youtube.com/watch?v=yQsOFWqpjkE
O czym sobie nie powiedzieliśmy110
https://image.slidesharecdn.com/dimensionalityreduction-140129163722-phpapp02/95/visualization-using-tsne-2-638.jpg