Download - NVIDIA GPU ディープラーニング最新情報
![Page 1: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/1.jpg)
井﨑 武士NVIDIA GPU ディープラーニング最新情報
![Page 2: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/2.jpg)
Quanzheng Li Associate Professor, Massachusetts General Hospital
DEEP LEARNING ON METASTASIS DETECTION OF BREAST CANCER USING
DGX-1
SESSION 1
![Page 3: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/3.jpg)
デジタルパソロジー
デジタルパソロジーはコンピュータテクノロジーにより可能となった画像を基にした情報環境で、デジタル標本から得られる情報の管理を可能とする
より良く、早く、より安価に癌やその他の病気の診断や予測を可能にする診療医学のもっとも有望な手段の一つ
![Page 4: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/4.jpg)
研究の動機• リンパ節転移はほとんどの癌のタイプで発生する(e.g. 胸部、前立腺、結腸)
• リンパ節は小さな免疫細胞の塊でリンパ系のフィルターとして動作する
• 脇の下のリンパ節(腋下リンパ節)は乳がんが広がりやすい最初の箇所である
• リンパ節の状態は予後に大きく関連する、癌がリンパ節に広がっていると予後が悪くなる
• 病理検査医の診断の手順は単調で時間がかかる作業で、誤った解釈を引き起こす場合がある
![Page 5: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/5.jpg)
• データセットはCamelyon16 Challengeのものを利用https://camelyon16.grand-challenge.org/
• データには2つの独立したデータセットから合計400の歩哨リンパ節のWSI(Whole-slide-image)が含まれている
• トレーニングデータ
• テストデータオランダのラドバウド大学メディカルセンター/ユトレヒト大学メディカルセンターから集めた130のWSI
データセット
![Page 6: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/6.jpg)
データセット
![Page 7: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/7.jpg)
データセット
![Page 8: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/8.jpg)
TASK
スライドベースの評価
• 転移を含むスライドと正常なスライドの区別
• スライドレベルでのROC分析
• アルゴリズムの比較はROC曲線下面積(AUC)を用いる
病変ベースの評価
• 信頼スコアを伴う腫瘍領域の検出
• FROC曲線を使用
• 最終スコアはあらかじめ決められたFalse-Positive率の感度として決められる1/4,1/2,1,2,4,8
![Page 9: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/9.jpg)
FRAMEWORK
![Page 10: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/10.jpg)
学習データ
Preprocessing
![Page 11: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/11.jpg)
NNの詳細
ResNet101を用いて、Atrous畳み込み演算とAtrous Spatial pyramid pooling (ASPP)を使用
Atrous畳み込み演算とASPPは予測のための視野を拡大し、複数の倍率でオブジェクトとイメージコンテキストのキャプチャを可能とする
トレーニングはNVCAFFEを使用。パッチサイズは20xで512X512。ミニバッチサイズは10
ラーニングレートは2.5e-4から始め、0.9乗の多項式
重み減衰 0.0005 モーメンタム0.9
Tesla P100で40000イタレーション
約1日
![Page 12: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/12.jpg)
分類タスク
Tumor Probability mapからもっとも大きな腫瘍を取り出すために高次の特徴を抽出(skimageの”regionprops”で異なる閾値を用いる)
分類にはランダムフォレストを使用
検出タスク
Tumor Probability mapにおいてヒートマップの領域を結合する(Connectivity=2、Threshold=0.95)
![Page 13: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/13.jpg)
性能比較
推論性能
8*p100: DGX-1
計算性能
![Page 14: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/14.jpg)
結果
![Page 15: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/15.jpg)
Jiangye Yuan Research Scientist, Oak Ridge National Laboratory
LEARNING BUILDING EXTRACTION IN AERIAL SCENES WITH CONVOLUTIONAL
NETWORKS
SESSION 2
![Page 16: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/16.jpg)
建物の航空写真
![Page 17: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/17.jpg)
一般的なCNNは適さない典型的なネットワークは画面全体に対して、いくつかの情報を予測するが、高解像度下においては空間情報が失われてしまう
建物の抽出にはピクセルワイズでの分類が必要とされる
![Page 18: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/18.jpg)
今回の手法
ピクセル分類のために複数のステージの特徴マップを統合する特別なネットワークを作成
ネットワークの学習には、符号付距離関数をラベルとして用いた
Original Boundary Region Signed Distance
![Page 19: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/19.jpg)
学習・テストデータ
ワシントンDCをカバーするエリアで0.3mの解像度データを用いた
16万ビルを含むパブリックのデータベースを使用
トレーニングとテストに使う領域に分割
500x500のイメージ2000枚および対応するビルマスクデータをトレーニングに使用
テストセットは5000x5000のイメージ40枚
![Page 20: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/20.jpg)
アライメント不整合対策
地図はしばしば画像との不整合がある地図とイメージの相互相関が最大になるようにマップの位置を調整
調整前 調整後
![Page 21: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/21.jpg)
学習
7層で約50万パラメータのネットワークを用意。GPUで20時間の学習Theanoを使用。事前学習は無し学習はEnd-to-Endでプリ・ポスト処理は無しテスト時は生出力を評価。プリ・ポスト処理は無し1GPUで10K x 10Kピクセルの画像を1分以内で処理
![Page 22: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/22.jpg)
結果
![Page 23: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/23.jpg)
結果
他手法との比較 広大地域例
![Page 24: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/24.jpg)
ソーラーパネルマッピング
サンフランシスコ
![Page 25: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/25.jpg)
Joon Son Chung et al, Department of Engineering Science, University of Oxford. Google DeepMind
LIP READING SENTENCES IN THE WILD
SESSION 3
https://arxiv.org/pdf/1611.05358v1.pdf
![Page 26: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/26.jpg)
LIP READING
![Page 27: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/27.jpg)
![Page 28: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/28.jpg)
CONVNET
![Page 29: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/29.jpg)
![Page 30: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/30.jpg)
学習
![Page 31: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/31.jpg)
結果
WAS: Watch, Attend&SpellLAS: Listen, Attend & SpellWLAS: Watch, Listen, Attend & SpellCL: Curriculum LearningSS: Scheduled SamplingBS: Beam Search
![Page 32: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/32.jpg)
Olexandr Isayev Research Assistant Professor, University of North Carolina at Chapel Hill
ACCURATE PREDICTION OF PROTEIN KINASE INHIBITORS WITH DEEP
CONVOLUTIONAL NEURAL NETWORKS
SESSION 4
![Page 33: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/33.jpg)
![Page 34: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/34.jpg)
![Page 35: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/35.jpg)
![Page 36: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/36.jpg)
![Page 37: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/37.jpg)
![Page 38: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/38.jpg)
![Page 39: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/39.jpg)
![Page 40: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/40.jpg)
![Page 41: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/41.jpg)
![Page 42: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/42.jpg)
![Page 43: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/43.jpg)
Han Zhang et al, Department of Computer Science, Rutgers University et al.
STACKGAN: TEXT TO PHOTO-REALISTIC IMAGE SYNTHESIS WITH STACKED
GENERATIVE ADVERSARIAL NETWORKS
SESSION 5
https://arxiv.org/pdf/1612.03242v1.pdf
![Page 44: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/44.jpg)
GAN おさらい
![Page 45: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/45.jpg)
GENERATIVE ADVERSARIAL TEXT TO IMAGE SYNTHESIS
文章から画像を生成するGAN
ψ:Text Encoder (今回128次元)
https://arxiv.org/pdf/1605.05396v2.pdf
Scott Reed et al, University of Michigan
https://arxiv.org/pdf/1605.05396.pdf
![Page 46: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/46.jpg)
![Page 47: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/47.jpg)
STACKGAN
![Page 48: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/48.jpg)
![Page 49: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/49.jpg)
Edward Raff Lead Scientist, Booz Allen Hamilton Jared Sylvester Senior Consultant , Booz Allen Hamilton
FIGHTING MALWARE WITH MACHINE LEARNING
SESSION 6
![Page 50: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/50.jpg)
マルウェアに対するMLの必要性
• マルウェアの数は指数関数的に増加している• アンチウィルスや署名ベースのアプローチは受動的で最新のマルウェアには有効でない• 現在のアプローチは労働集約的で、優秀なアナリストを必要とする• 機械学習は能動的ソリューションの潜在的可能性を秘めているが、難しい
![Page 51: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/51.jpg)
マルウェアの難しさデータに良いラベルをつけるのが困難
•領域の専門家が必要
•良性のデータの入手が特に困難
変数の長さと大きさ
•ひとつのバイナリは数KBから100MB以上にもなる
敵の行動は無限
データのモダリティ性
•ヘッダ、コード、データなどがそれぞれ異なる振る舞いをする
•バイトの意味は前後により変化する
![Page 52: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/52.jpg)
MLによるマルウェア対策の現状
機械学習を使用し、専門知識が最小限でもマルウェアに対応していきたい
•高価で、マルウェアはいつも上手く動作するとは限らない
n-gramなどツールを使う前には多くの作業が発生し、多くの結果はデータ品質の問題に悩まされている
• Journal of Computer Virology and Hacking Techniques に載っている“An Investigation of Byte N-Gram Features for Malware Classification”を見よう
ディープラーニングは解決法を提供してくれそう
短期: より簡単なケースを手に入れ、より難しいものはMLを使ってアナリストを支援する
![Page 53: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/53.jpg)
小規模な結果: PEヘッダを使用PEヘッダを使用して、ニューラルネットワークのアプローチと専門知識(DK)のアプローチを比較
•ニューラルネットワークはすべてのテストセットでよりよい性能を示した
•高いAUCは高いランキングになります
ニューラルネットワークが単なるバイトシーケンスから学習が可能かを検証する
アテンションLSTMで学習し、類似のアイテムが学習できているかの確認に使用
•TitanXを用いてモデルの学習に11日
![Page 54: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/54.jpg)
アテンションとは?
![Page 55: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/55.jpg)
アテンションとは?
![Page 56: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/56.jpg)
現在の研究とゴール
全バイナリ上でこれを再現できるか?
CNNとRNNの組み合わせ長さが変化するバイナリを扱うのにRNNを使用する
バイト単位での学習がとても大きくなるのが問題:200万以上のステップ
CNNは一度に多くのバイトを処理するのに使用する。
アテンションは入力の一部を無視するのに使用する粗いラベルのみで学習した場合、バイナリのどの部分に害があるかを推測するのに役立つ
![Page 57: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/57.jpg)
最終的なアーキテクチャ
![Page 58: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/58.jpg)
Associate Professor, Icahn School of Medicine at Mount Sinai, New York
DEEP PATIENT: PREDICT THE MEDICAL FUTURE OF PATIENTS WITH DEEP
LEARNING
SESSION 7
![Page 59: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/59.jpg)
INTRODUCTION
• ヘルスケアに対するコストの上昇は、予防医学への動機となっている• 健康を促進し、維持し、疾病、障害、および死亡を予防するための予防的アプローチ
• 個別化医療(Precision Medicine)
• 個人の状態のすべての側面を考慮に入れた疾病の治療と予防の新たなアプローチ
• 適切な治療が適切な患者に適切なタイミングで提供されるようにする
![Page 60: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/60.jpg)
PRECISION MEDICINE フレームワーク
![Page 61: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/61.jpg)
現状の問題点• EHRはその高い次元、ノイズ、異質性、希薄性、不完全性、ランダム誤差、および系統的バイアスによりモデル化が難しい
• モデルやシステムは特定の病気に焦点を当てている
• 臨床医によりアドホックな記述子が手作業で選ばれている
• スケーラブルでない
• 知らないパターンは無視される
• 病院内ではすべての臨床記述子で構成される生ベクトルが利用可能
• 希薄でノイズ交じりで繰り返し
• 単純な特徴学習アルゴリズムを用いた基本的な事前処理
• データに組み込まれた階層情報をモデル化することが出来ない
![Page 62: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/62.jpg)
DEEP PATIENT
Deep Learningで患者のデータを処理し、自由度が高く、高密度で、堅牢で低次元であり、患者の将来の出来事を予測するために効果的に使用できる表現を導き出す
![Page 63: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/63.jpg)
構成
臨床データウェアハウスからEHRを取り出し患者ごとに集める
教師無しの深層特徴学習を用いて、患者ごとの深層表現を抽出
深層表現から患者の将来のイベントを予測する
![Page 64: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/64.jpg)
データ事前処理
データウェアハウスの患者データ
臨床的に関連する表現型に正規化情報の分散を抑えるため、類似のコンセプトのものは、同じ臨床カテゴリにグループ化
患者ごとのデータをベクトル表現(Bag of phenotype)にまとめる
![Page 65: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/65.jpg)
ネットワークアーキテクチャ
![Page 66: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/66.jpg)
DENOISING AUTOENCODER
![Page 67: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/67.jpg)
病気の予測:実験
病気の予測
患者の現在の臨床ステータスを下に、一定期間後の発病の確率を予測する
学習データセット
1980年~2013年の患者データ (約160万人)
テストセット
10万人の患者 2014年の新たな診断結果により評価
79種類の病気 腫瘍学、内分泌学、心臓学など
![Page 68: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/68.jpg)
結果
![Page 69: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/69.jpg)
結果
![Page 70: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/70.jpg)
Aviv Tamar, Yi Wu, Garrett Thomas, Sergey Levine, and Pieter AbbeelDept. of Electrical Engineering and Computer Sciences, UC Berkeley
VALUE ITERATION NETWORKS
SESSION 8
![Page 71: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/71.jpg)
アプリケーション例
![Page 72: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/72.jpg)
従来の強化学習の問題
モデルベースの強化学習の場合、見ているものをダイナミックモデルにマップするシステム特定が必要となるが、実際のアプリケーションでは正確な特定は困難。
DQNの場合、試行錯誤で良かった行動を記憶していくが、環境が変わるとモデルの転用は出来ない
Imitation Learningなども同様である
モデルに依存せず計画を学習ベースで決定できる手法が必要
![Page 73: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/73.jpg)
ネットワークモデル(VIN)
![Page 74: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/74.jpg)
結果
![Page 75: NVIDIA GPU ディープラーニング最新情報](https://reader036.vdocuments.mx/reader036/viewer/2022081503/58870f3b1a28abf2228b5cff/html5/thumbnails/75.jpg)