20171024 dllab#04_pfn_hiroshi maruyama
TRANSCRIPT
![Page 1: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/1.jpg)
ディープラーニングよもやま話
10/24, 2017
Preferred Networks, 丸山 宏
Deep Learning Lab
![Page 2: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/2.jpg)
2
AlphaGo Zero:事前知識無しでの学習3時間後 – 人間の初心者と同様、多くの石を取ることに執着
https://deepmind.com/blog/alphago-zero-learning-scratch/
![Page 3: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/3.jpg)
3
19時間後 – 石の死活、厚み、地などの概念を習得
https://deepmind.com/blog/alphago-zero-learning-scratch/
![Page 4: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/4.jpg)
4
70時間後 – 人間を凌駕
https://deepmind.com/blog/alphago-zero-learning-scratch/
![Page 5: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/5.jpg)
5
AlphaGo Zero:40日の学習
https://deepmind.com/blog/alphago-zero-learning-scratch/
![Page 6: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/6.jpg)
音声によるロボットのコントロール
6
https://www.youtube.com/watch?v=_Uyv1XIUqhk&feature=youtu.be&a=
![Page 7: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/7.jpg)
7https://www.youtube.com/watch?v=QwInbilXNOE
![Page 8: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/8.jpg)
8
1,024基のP100を搭載したスーパー・コンピュータを稼働
https://www.preferred-networks.jp/ja/news/pr20170920
![Page 9: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/9.jpg)
9
Chainer V3 / Cupy V2をリリース
(ほとんどのユーザーにとって)後方互換!
高階微分が可能に
— Wasserstein距離を使ったWGAN-GPなどの実装
処理の高速化
— スパース行列のサポート
— GPUメモリ管理の効率化
“seq2seq”サンプル: 12GB 3GB
![Page 10: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/10.jpg)
Assessment PoC Pilot Deployment Maintenance
• お客様の理解度
• ビジネス目標• 機械学習への適合度
• データの入手可能性
:
• データの量・品質は足りているか
• 期待する精度が達成できそうか:
• ビジネスプロセスへの組み込みはうまくいったか
• ビジネス目標は達成できたか:
CP1 CP2 CP3 CP4
• 性能の監視• データ・ドリフトの監視
:
機械学習工学: 典型的なシステム構築サイクル
より探索的
![Page 11: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/11.jpg)
11
機械学習工学の課題
1. 再利用
2. 品質の担保
3. 要求の厳密化
![Page 13: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/13.jpg)
ONNX
message ModelProto {
optional int64 ir_version = 1;
:
optional GraphProto graph = 7;
};
message GraphProto {
repeated NodeProto node = 1;
optional string name = 2;
repeated TensorProto initializer = 5;
optional string doc_string = 10;
repeated ValueInfoProto input = 11;
repeated ValueInfoProto output = 12;
repeated ValueInfoProto value_info = 13;
}
message TensorProto {
repeated int64 dims = 1;
optional DataType data_type = 2;
optional Segment segment = 3;
repeated float float_data = 4 [packed = true];
:
optional string name = 8;
}
message NodeProto {
repeated string input = 1;
repeated string output = 2;
optional string name = 3;
optional string op_type = 4;
repeated AttributeProto attribute = 5;
optional string doc_string = 6;
}
Node
Te
nso
r
Te
nso
r
https://github.com/onnx/onnx
![Page 14: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/14.jpg)
14
機械学習工学の課題
1. 再利用
2. 品質の担保
3. 要求の厳密化
![Page 15: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/15.jpg)
機械学習システムは、高金利クレジット!
• CACE (Changing Anything Changes Everything) 原理 – すべてが絡み合っている
• グルーコード、試験的なコード片など、すべてが将来のメインテナスの悪夢につながる
• …
https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43146.pdf
![Page 16: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/16.jpg)
新しいタイプの脆弱性
16
https://arxiv.org/pdf/1707.08945.pdf
![Page 17: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/17.jpg)
品質指標 –多くの場合プロセス品質指標
http://www.ipa.go.jp/files/000028859.pdf
How “safe” is this car?
… is translated into process metrics
例:どのくらいレビューに時間を割いたか?
![Page 18: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/18.jpg)
第3者による客観的な品質指標の可能性
How “safe” is this car?
非公開の評価用データ
自動化された、第3者による評価
評価
評価結果のみを返す
![Page 19: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/19.jpg)
19
機械学習工学の課題
1. 再利用
2. 品質の担保
3. 要求の厳密化
![Page 20: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/20.jpg)
20
強化学習において、衝突のペナルティを無限大にすると?
動かないクルマ
効用と安全性のバランスを定量的に要件として書き出す必要!
![Page 21: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/21.jpg)
21
IJCAIにおける自律性に関する議論
Keynote by Stuart Russell, “Provably Beneficial AI”
— 人:「コーヒーをとってきて」
— ロボット:スタバへ行き、列に並んでいる他の客を殺してコーヒーをとってくる
— 人の指示は常に不完全
どちらも、最適化問題における「正しい仕様のあり方」の問題を提起
![Page 22: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/22.jpg)
22
11/8 機械学習Xソフトウェア工学
Meetup
1/18-19 情報処理学会ソフトウェア工学研究会ウィンターワークショップ
![Page 23: 20171024 DLLab#04_PFN_Hiroshi Maruyama](https://reader033.vdocuments.mx/reader033/viewer/2022050613/5a6478407f8b9a27568b4577/html5/thumbnails/23.jpg)
23
Thank You