[iclr2017読み会 @ dena] iclr2017紹介
TRANSCRIPT
ICLR2017紹介宮戸 岳
Preferred Networks, Inc.
宮戸岳 (https://takerum.github.io/)
リサーチャー @ Preferred Networks, Inc.
● 04/2014-03/2016, 情報学修士 @ 京大
● 01/2016-05/2016, インターン @ Google Brain ● 06/2016-08/2016, 研究技術員 @ ATR● 09/2016-(now)
○ リサーチャー @ Preferred Networks, Inc. ○ 客員研究員 @ ATR
最近の興味:
● Generative Adversarial Networks (GANs)
● Semi-supervised and Unsupervised Learing on Neural Networks
● Learning on Extremely Large Distributed Systemshttps://arxiv.org/abs/1507.00677, https://arxiv.org/abs/1605.07725, https://arxiv.org/abs/1702.08720, https://arxiv.org/abs/1704.03976
https://openreview.net/forum?id=H1hLmF4Fx, https://arxiv.org/abs/1705.10941
(自己紹介)
目次
● ICLRって何?○ ICLRの主な特徴
● ICLR2017に行ってきました
● 話題のGANsとは?
ICLRとは?● International Conferene on Learning Representations. ‘I CLeaR’って呼ぶ人が
多い。(Yann Lecun が最初にそうよんだらしい). ● 3日間の国際会議, 通常大体5月のはじめに開かれる(今年は4/24-4/26).● 今年が5回目の開催。最初のICLRは2013年。
● Website : http://www.iclr.cc/doku.php○ Facebook page : https://www.facebook.com/iclr.cc/?fref=ts ○ Twitter account (ICLR2017) : https://twitter.com/iclr2017?lang=en
● ICLRの詳しい経緯とかが載っている記
事:http://www.kdnuggets.com/2016/02/iclr-deep-learning-scientific-publishing-experiment.html
ICLRの主な特徴(1)● Deep Learningとその応用に焦点をあてている。
○ 大体のアクセプトされた論文はneural networksを扱っている。
○ Learning Represenationとあるがこの言葉自体はあまり意味ないものと思っ
て良い。表現学習以外の論文がほとんど。
Variational Auto-Encoder (ICLR2014)
ADAM optimizer (ICLR2015)
ICLRの主な特徴(2)● Open Review System https://openreview.net/
○ Single blind review (Reviewerのみが匿名)○ だれでもreviewやrebuttalを(review process中に)みることができる。
○ だれでもreview processに加わることができる。
他の特徴
● 2トラック : Conference track and Workshop track● シングルのoralトラック
● ITジャイアントスポンサーがたくさん
https://blogs.sap.com/2017/05/22/dive-deep-into-deep-learning-sap-at-the-international-conference-on-learning-representations-iclr/
投稿数と参加者数
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
ICLR2017 http://www.iclr.cc/doku.php?id=ICLR2017:main (Toulon, France)
● 参加者 : 1100 (~300 last year)● Accepted papers
○ Conference track : 196, 15 oral○ Workshop track : ~110
https://twitter.com/iclr2017/status/864863545867079680
taken by Okumura-san
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
New
(去年は28%くらい)
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
機関毎の投稿
企業はGoogleが特に多く,つい
で Facebook, Microsoft, OpenAI
大学は Berkeley, Montreal, CMU, Stanford, MIT, NYU
https://prlz77.github.io/iclr2017-stats/
議論が活発だったsubmissionは通りやすかった
http://www.iclr.cc/lib/exe/fetch.php?media=iclr2017:ranzato_introduction_iclr2017.pdf
オーラルセッション:● 1つのオーラルセッション● 午前と午後の2セッション
○ 各セッション毎に、1つの招待講演と 2~3のオーラル論文プレゼン。
● オーラルセッションはLiveストリーミングされました: https://www.facebook.com/iclr.cc/?fref=ts
ポスターセッション
● こちらも午前と午後の2セッション● Conference track
○ 各セッション~40件のポスター発表○ 各ポスターで常に10~20人の聴衆○ 多いところは30人くらい居た気がします
● Workshop track○ ~20件のポスター発表○ 各ポスターで~5人の聴衆
● ちなみに去年のポスターセッションは
○ ~5人くらいの聴衆
(撮影: DeNA奥村さん)
自分のプレゼンテーション● 1 conference track poster と 1 workshop track poster
https://arxiv.org/abs/1605.07725 https://openreview.net/pdf?id=H1hLmF4Fx
After hours partiesGoogle, Facebook, Salesforce ...etc.が個別に
夜の時間帯にパーティーを開催。
○ ネットワーキング
○ (有名な)研究者やエンジニアと議論
■ 結構多くの人が夜中までしていた
みたいです。
人気トピック @ ICLR2017● ニューラルネットの汎化性能について
○ Rethinking generalization https://arxiv.org/abs/1611.03530
○ Large batch training coverges to sharp minima https://arxiv.org/abs/1609.04836
● Generative Adversarial Networks○ Towards principled methods of training GANs https://openreview.net/pdf?id=Hk4_qw5xe
○ Energy based GANs https://arxiv.org/abs/1702.01691
○ Two-sample tests by classifier https://openreview.net/forum?id=SJkXfE5xx¬eId=SJkXfE5xx
● Deep Reinforcement Learning ○ Reinforcement Learning with Unsupervised Auxiliary Tasks https://openreview.net/pdf?id=SJ6yPD5xg
○ (Not RL) Learning to act by predicting future https://arxiv.org/abs/1611.01779
● Neural Programmer○ Making Neural Programming Architectures Generalize via Recursion
https://openreview.net/forum?id=BkbY4psgg¬eId=BkbY4psgg
Generative Adversarial Networks (GANs)● オリジナルのアルゴリズムは Ian Goodfellow et al. (2014) によって提案
● 以降とても多くの論文がarXiv等で(乱発ぎみに)発表された。○ GAN Zoo https://github.com/hindupuravinash/the-gan-zoo
https://github.com/hindupuravinash/the-gan-zoo
(GANs)
GANsのフレームワーク
● Discriminator D(x) : Generator G(z) から生成されたサンプルと本物(データセット)のサンプルを見分けるように学習
● Generator G(z) : Discriminator D(x)が見分けられないようにデータを生成するように学習。
(GANs)
GANの何がいいのか?● 生成モデル pG(x)の明な密度を計算できなくても学習で
きる。
○ ただサンプルできればよい。x ~ pG(x)
● 半教師あり学習と統合した学習ができる
https://arxiv.org/abs/1606.03498 (ただこれは theoriticalな解析がまだなさ
れていない。)
○ 特にラベル数が少ない半教師あり学習で良い性能
https://arxiv.org/pdf/1702.08896.pdf
(GANs)
GAN論文 (ICLR2017に投稿されたもの)● b-GAN (uehara et al. https://arxiv.org/pdf/1610.02920.pdf )
○ GANのDiscriminatorを密度比推定器 rD(x) と解釈。
○ rD(x) とq(x) / pG(x)とのBregman ダイバージェンス の最小化で(Generatorの分布が与えられた際の) 真の密度比q(x) / pG(x) をrD(x) で近似
● Implicit Generative Models (Mohamed et al. https://arxiv.org/abs/1610.03483 )
○ GANsのアルゴリズムを使って Likelihood-free estimation ● Deep and Hireachical Implicit models (Tran et al. https://arxiv.org/pdf/1702.08896.pdf ) (※Not
subimitted to ICLR)
○ GANsのアルゴリズムを使って Likelihood-free variational inference (LFVI) ■ モデルと変分分布qVI(x, z) と pModel(x, z) に要求されるのはただサンプルで
きればよいということ。柔軟な変分推定を実現できる
(僕が重要だと思う )
ありがとうございました! I enjoyed water taxi ⚓ (Hotel <-> Conference)