Deep Learning の入り口

菅原 健太慶應義塾大学管理工学科 4 年　鈴木研究室

kenta.sugawara.p [at] gmail.com

1

この資料の目的

Deep Learning のイメージを出来る限りシンプルに抑えること

シンプルさを追いかけたため、多少正確さがかけるところがありますがご容赦ください。

Deep Learning を理解する一助となれば幸いです。

2

Deep Learning とは

最近注目されているすごい機械学習の手法　　　　　　　　　　　　　　　　　　　　　※機械学習：機械がデータを元に賢くなっていくアルゴリズムのこと

何がすごいか？　➡圧倒的性能／自動で特徴を学習

何が出来る？　➡回帰／分類／クラスタリング　　画像認識／音声認識／教科学習 ...etc例：　回帰：為替相場の変動データから、１０秒後の為替相場の予測　　　分類：手書き文字が、なんと書いてあるかの読解　　　　　　等　　　　　　

3

Deep Learning のすごさ

[Lee+’09]Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations 引用元 734

生の画像から特徴を自動抽出して画像認識できる人・車・像などの写真を Deep Learning に与えたときに、自動的に下図の様な特徴（識別器）を獲得した。

4

なぜ、いま注目されているか？

出典　左： http://danielnouri.org/notes/category/bioacoustics/ 　右： http://www.slideshare.net/pfi/deep-learning-22350063 　

2012 年頃に各コンペでDeep Learning が圧倒的性能を叩き出して優勝

　　　　　　　　　　 IMAGE NET　写真から 1000 種類の名称のどれかを当てるタスク　　　　　　　年度ごとの優勝チームの間違い率の変化

Deep Learning の登場

5

化合物の活性予測コンペ (2012) の例

参考： https://www.kaggle.com/c/MerckActivity

Deep Learning を使ったチームが化学領域の知識 ( ドメイン知識 ) を持たずにデータ分析のエキスパートチームを抑えての優勝

Deep Learning 登場以前は「特徴量」※データの違いを上手く表す量　

を作る職人技によって基本性能が左右されていた。

Deep Learning は今まで苦労して作っていた「特徴量」をデータから自動で生成する

6

Google も注目

Google がイギリスの AI 会社「 Deep Mind 」を４億ドルで買収 (2014 年 )

Deep Mind の機械学習の技術者確保のためといわれているDeep Mind は創業 2011 年の若い会社Deep Mind 社： 2015 年 3 月ゲームの学習を公開 ( 強化学習 ) 　イメージ：ゲームを上手くやると機械は褒められて伸びる

7

Google DeepMind's Deep Q-learning playing Breakout

Deep Learning の仕組みイメージ例：画像認識

目的：手書き文字を判別する

手順１．特徴を学ぶ　脳を参考にした手法、ニューラルネットワークにより特徴を抽出。　（詳しくは、 AutoEncoder か RBM (Restricted Boltzmann Machines) 等で検索）

8特徴画像出典： http://www.cs.toronto.edu/~ranzato/research/projects.html

➡　　７　５　３　５　３

① 手書き文字データを入力

…

…

←② 特徴をうまく取り出せるように計算

←③ 計算終了後入っている特徴を取り出す➡

５っぽいニューラルネットワーク

Deep Learning の仕組みイメージ例：画像認識

手順２．学んだ特徴を使ってどの数字かを判別する

9特徴画像出典： http://www.cs.toronto.edu/~ranzato/research/projects.html

① 判別したい手書き文字データを入力

…

… ← 特徴が入ってる　どの特徴に当てはまっているかが分かる

…出力層

入力層

値０ 値１ 値２ 値９

中間層

手書きの文字の０っぽさ

手書きの文字の９っぽさ

② 特徴を利用して入力した値が０である確率のようなもの　　　　〜９である確率のようなもの が出てくる

③ この値を元に、入力されたデータが　どの数字だったかを判別する

中間層はたくさん積み重ねる事ができる上手く特徴を抽象化できると精度が上がりそうというのが Deep Leaning の発想

＝　０