deep learning nie tylko dla phds
TRANSCRIPT
![Page 1: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/1.jpg)
Deep Learning - nie tylko dla PhDs
MikroSFI #4 Machine Learning
Mateusz Opala
![Page 2: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/2.jpg)
Motywacja
![Page 3: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/3.jpg)
Reprezentacja
● Reprezentacja - wejście dla algorytmów uczenia maszynowego● Reprezentacja może być “ręcznie dobrana” np. SIFT lub HoG
Data Feature extraction Learning
● Chcielibyśmy się uczyć reprezentacji
Data Learning
![Page 4: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/4.jpg)
Istotą Deep Learningu jest uczenie się hierarchicznej reprezentacji danych
![Page 5: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/5.jpg)
Dlaczego hierarchiczność?
● Prior na regularność funkcji nie pozwala generalizować globalnie
● Teoria: istnieją pewnie rodziny funkcji, które mogą być reprezentowane przez
k-warstowe architektury kompaktowo, podczas gdy k-1-warstwowe
architektury wymagają eksponencjalnej ilości jednostek względem rozmiaru
wejścia
● Rozproszoność reprezentacji powoduje, że ilość rozróżnialnych regionów
może rosnąć nawet eksponencjalnie z ilością parametrów
![Page 6: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/6.jpg)
Inspiracja z biologii
![Page 7: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/7.jpg)
Inspiracja z biologii
Co widzi Convolutional DBN?
![Page 8: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/8.jpg)
But then I realised maybe that’s what hell is: the entire rest of eternity spent in
f*cking Bruges
![Page 9: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/9.jpg)
![Page 10: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/10.jpg)
![Page 11: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/11.jpg)
![Page 12: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/12.jpg)
![Page 13: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/13.jpg)
“Last year, the cost of a top, world-class deep learning expert was about the
same as a top NFL quarterback prospect”
Peter Lee - Head of Microsoft Research (2014)
![Page 14: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/14.jpg)
Jak uczyć reprezentacji?
![Page 15: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/15.jpg)
Multilayer Perceptron
Co zazwyczaj słyszymy:
● Teraz mamy wiele danych i lepszy sprzęt
Bardziej subtelne powody:
● Dostępność bibliotek wysokiej jakośći
● Otwartość researchu (arxiv)● AlexNet - pobicie klasycznych
metod● Rozwój metod
nienadzorowanego uczeniawejście
warstwy ukryte
wyjście
Dlaczego teraz?
![Page 16: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/16.jpg)
Biblioteki
● Theano● Torch● pylearn2● Caffe● Deeplearning4j● TensorFlow● CNTK● Cuda-convnet● DeepLearnToolbox● neon● Keras● Chainer● mxnet● gensim● … i wiele innych
![Page 17: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/17.jpg)
Theano
![Page 18: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/18.jpg)
Cechy Theano
● Integracja z Numpy - numpy.ndarray używane w funkcjach theano
● Tworzenie grafów obliczeń, które mogą być kompilowane zarówno na CPU
jak i GPU
● Zapisywanie skompilowanych i zoptymalizowanych grafów umożliwia
ponowne ładowanie
● Wizualizacja grafów obliczeń
● Symboliczne różniczkowanie
● Optymalizacje numeryczne
● Wsparcie dla cuDNN
● Integracja z CNMeM
● Data parallelism - Platoon
![Page 19: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/19.jpg)
Typy danych● scalar● vector● row● col● matrix● tensor3● tensor4
Każdy z powyższych typów dostępny jest w wersjach:
● int8 np. bvector, bscalar ● int16 np. wmatrix, wscalar● int32 np. itensor3, irow● int64 np. lcol, lscalar● float64 np. dscalar, dtensor4● float32 np. fscalar, fmatrix● complex64, np. cscalar, cmatrix● complex128, np. ztensor4, zrow
![Page 20: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/20.jpg)
Działania na skalarach
![Page 21: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/21.jpg)
Działania na macierzach
![Page 22: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/22.jpg)
Shared Variables
![Page 23: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/23.jpg)
Keyword givens
![Page 24: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/24.jpg)
Logistyczna regresja
![Page 25: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/25.jpg)
![Page 26: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/26.jpg)
Pętle w Theano
![Page 27: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/27.jpg)
Restricted Boltzmann Machine
● Stochastyczna sieć neuronowa z 1 warstwą ukrytą
● Model generatywny
● Połącznie nieskierowane pomiędzy neuronami
● Prawdopodobieństwo obserwacji zdefiniowane w oparciu o energię
konfiguracji
● Funkcja kosztu to negatywne logarytmiczne prawdopodobieństwo obserwacji
● Gradient jest intractable
● Algorytm aproksymacji: Contrastive Divergence
● Używany w PayPal do detekcji anomalii
● Używany do pretrenowania sieci neuronowych
● Występuje w wielu wariantach Binary RBM, Gaussian RBM, Nosiy Rectified
RBM
![Page 28: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/28.jpg)
Restricted Boltzmann Machine
![Page 29: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/29.jpg)
Generowanie twarzyKod: http://github.com/plazowicz/IZS
![Page 30: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/30.jpg)
Dane
● Labeled Faces in the Wild● ~ 13k obrazków, ~ 6k unikalnych osób
![Page 31: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/31.jpg)
Po 50 epokach...
![Page 32: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/32.jpg)
Po 200 epokach
![Page 33: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/33.jpg)
Neural Artistic Style Transfer
![Page 34: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/34.jpg)
Kod: http://github.com/plazowicz/IZS
![Page 35: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/35.jpg)
![Page 36: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/36.jpg)
![Page 37: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/37.jpg)
![Page 38: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/38.jpg)
Pretrenowanie CNN
![Page 39: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/39.jpg)
Convolution = sparse connectivity + parameters sharing
![Page 40: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/40.jpg)
Sparse Connectivity
![Page 41: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/41.jpg)
Parameters Sharing
![Page 42: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/42.jpg)
Convolution
![Page 43: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/43.jpg)
Pooling
![Page 44: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/44.jpg)
LeNet
![Page 45: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/45.jpg)
Jak głębokie sieci obecnie trenujemy?
AlexNet2012
8 warstw
VGG2014
19 warstw
Res-Net2015
152 warstwy
![Page 46: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/46.jpg)
VGG
![Page 47: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/47.jpg)
Reprezentacja contentu
![Page 48: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/48.jpg)
Reprezentacja stylu
![Page 49: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/49.jpg)
Funkcja kosztu
![Page 50: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/50.jpg)
Lasagne
● https://github.com/Lasagne/Lasagne
● Lekka biblioteka do budowania i trenowania sieci neuronowych w Theano
● Moduły:○ Layers
○ Updates
○ Objectives
○ Nonlinearities
○ Regularization
○ Init
● https://github.com/Lasagne/Recipes
● ModelZoo
● Transfer modelu z Caffe do Lasagne
● Szybkie prototypowanie
![Page 51: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/51.jpg)
![Page 52: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/52.jpg)
![Page 53: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/53.jpg)
![Page 54: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/54.jpg)
![Page 55: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/55.jpg)
![Page 56: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/56.jpg)
![Page 57: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/57.jpg)
![Page 58: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/58.jpg)
● Justin Johnson
● https://github.com/jcjohnson/ne
ural-animation
● Implementacja w Torch
![Page 59: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/59.jpg)
Contact
● @matthewopala na twitter
● www.craftinity.com
![Page 60: Deep learning nie tylko dla PhDs](https://reader034.vdocuments.mx/reader034/viewer/2022042707/587db5411a28abae2f8b6f25/html5/thumbnails/60.jpg)
Q&A