[dl輪読会]regularization with stochastic transformations and perturbations for deep semi...
TRANSCRIPT
+
Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning工学系研究科システム創成学専攻加藤・中村研 M1? 岡本 弘野
17/02/09
+Introduction
n ラベルなしデータの適用 n convnetは大量のパラメタがあり、大量の学習データがないと過学習する
n しかし、大量のデータセットをつくるのはコストがかかる
n 一方で、ラベルなしデータは集めやすく、convnetの性能をあげるために利用したい
n ランダム化 n 確率的勾配降下法、ドロップアウト、データのランダムな変形
n 同じデータから、ランダム化によって、違う出力を生み出すことを利用する
17/02/09
1
+Related Work
n 古典的なアプローチ n データとラベルの結合分布のモデル化
n GMM
n HMM
n ラベルありデータとなしデータのマージン最大化
n TSVM
n S3VM
n これらの半教師学習はサンプル間の類似度を利用 n あるラベルなしデータがAのラベルデータに似ていれば、そのデータはAとみなす
17/02/09
2
+Related Work
n 半教師deep learning n ConvNetの性能をあげるためにラベルなしデータをつかう
n convnetのフィルターをpretrainするなど
n ほかの論文でのアプローチ n predictive sparse decomposition
n resion embedding
n ladder networks
17/02/09
3
+Method
n 教師なしloss関数を定義 n Transformation/stability loss function
n 変化/安定損失関数
n 同じデータによる違う出力のペアの差の二乗和を最小化する
n 勾配降下法で最適化
17/02/09
4
+Methodn もう一つ、教師なし学習のloss関数を定義
n Mutual Exclusivity loss function
n 相互排他的損失関数
n 決定境界をどんなサンプルからもできるだけ遠い所に置こうとする。結果的に、密度の低いところに決定境界が置かれる
17/02/09
7
+Experiments and Results
n MNIST n 100サンプルでstate of the art
n SVHN and NORB
n CIFAR10 n state of the art
n CIFAR100 n state of the art
n ImageNet
17/02/09
9
+実際に実装してみた(ができなかった)
n MNISTでやってみた n データオーグメンテーションによるlossTS関数の最小化 n lossME関数の最小化 n クロスエントロピーによるラベルあり損失関数の最小化
n tensorflowをつかった n 一部kerasを使っている
n できなかったが、誰かアドバイスをくれることを願ってgithubにあげた n https://github.com/HironoOkamoto/hoge/blob/master/semi
%20supervised%20mnist%20tensorflow-12.ipynb
17/02/09
12
+Fractional Max-Pooling
n ランダムにプーリングする部分 n tf.nn.fractional_max_pool
n ここは時間の関係上実装していなかったが、おそらく一番重要
n jの部分
n https://arxiv.org/abs/1412.6071
n ドロップアウト
17/02/09
15