NPO法人 全脳アーキテクチャ・イニシアチブ

株式会社ドワンゴドワンゴ人工知能研究

電気通信大学 大学院情報システム学研究科

玉川大学脳科学研究所

産総研AIRC

山川宏

全脳アーキテクチャから

迫る言語理解への道

慶應義塾大学SFC

汎用人工知能と全脳アーキテクチャ・アプローチ

第1回 LangRobo

様々な人間のような知的特性

• 価値観を持つ

• 生存能力を持つ

• 意識を持つ

• 自我を持つ

• 様々なタスクに対応できる→汎用性

• などなど

AI-EXPO3

WBAIが目指す汎用性は、現状のAIで人間レベルに実現していな知的特性の一つ

汎用性の評価基準（有用性）

満足できるレベルでの問題解決が

可能となるタスク範囲が広いほど良い

AI-EXPO4

タスク領域

満足できるレベル

汎用性の評価基準（有用性）

満足できるレベルでの問題解決が

可能となるタスク範囲が広いほど良い

AI-EXPO5

タスク領域

満足できるレベル

脳に学ぶ

Nengo

(2015〜)記号創発ロボティクス

世界の汎用人工知能(AGI)開発組織マップ

東芝機械講演6

工学的実現

新皮質中心

脳全体

オープンなAIG開発を支援するWBAI

第1回 LangRobo

大久保敏男

後藤健太郎

さかき漣

スポンサー

Supports

開発環境の構築• 学習シミュレータ• AGIの評価手法• 統合プラットフォーム

(BriCA)

• 神経科学への接地

研究開発組織

Promote R&D人材育成• ハッカソン• 勉強会• スクール

慶應義塾大学 玉川大学

人工知能と脳科学の対照と融合

産総研AIRC

電通大 AIセンタ

オープンなAIG開発を支援するWBAI

第1回 LangRobo

大久保敏男

後藤健太郎

さかき漣

スポンサー

Supports

開発環境の構築• 学習シミュレータ• AGIの評価手法• 統合プラットフォーム

(BriCA)

• 神経科学への接地

研究開発組織

Promote R&D人材育成• ハッカソン• 勉強会• スクール

慶應義塾大学 玉川大学

人工知能と脳科学の対照と融合

産総研AIRC

電通大 AIセンタ世界的に技術進展が加速している中では、

研究者とエンジニアも巻き込んだ連携体制をつく

ることが有意義

第1回 LangRobo

汎用AIへの最速開発経路となりうるWBA

第1回 LangRobo

脳全体のアーキテクチャに学び

人間のような汎用人工知能を創る(工学)

基本方針：可能なかぎり粗いモデル化からはじめ，必要に応じて段階的に詳細化

機械学習

知識設計

ニューラル

ネットワーク

人工知能

(認知科学)

神経科学の

測定手法

高級な記述言語

脳全体のANNモデル 脳全体

認知アーキテクチャ

ネジ

マカロック・ピッツモデルニューロン

ピストン

自動車

に例えると

全体設計図

ヒトの

脳

プログラミング言語

新皮質の領野

神経細胞

局所神経回路

エンジン

マクロ

メゾ

ミクロ

電極

Multi-layered perceptron

Perceptron

fMRI, EEG

いよいよ脳がAI構築に役立つ段階に

【２０世紀の状況】

機械学習

知識設計

ニューラル

ネットワーク

人工知能

(認知科学)

神経科学の

測定手法

高級な記述言語

脳全体のANNモデル 脳全体

認知アーキテクチャ

ネジ

マカロック・ピッツモデルニューロン

ピストン

自動車

に例えると

全体設計図

ヒトの

脳

プログラミング言語

新皮質の領野

神経細胞

局所神経回路

深層学習エンジン

マクロ

メゾ

ミクロ

電極

Multi-layered perceptron

Perceptron

新たなる脳科学とAIのフロンティア

fMRI, EEG

コネクトーム

二光子イメージング

統合的理解

いよいよ脳がAI構築に役立つ段階に

【２１世紀の状況】

汎用性を支える新皮質の局所回路

一様な機構で，多様な機能を獲得

ー＞ 知能の汎用性を支えている

第1回 LangRobo

脳型認知アーキテクチャの基本概念図

第1回 LangRobo

M2

M1 V1S1

EC

触覚 視覚 聴覚

海馬

筋肉

外 部 環 境

基底核

トップダウン情報

ボトムアップ情報

新皮質マスターアルゴリズム

制御信号

強化学習 認識の取りまとめ

※AI/機械学習の専門家が脳を参考とする足がかりのための概念図

新皮質MAのフレームワーク (仮説)

L1

L2/3

L4

L6

L5

状態(ボトムアッ

プ)

入力元 出力先

状態(トップダウン)

制御(注意, 文脈など)

隠れ状態出力制御

状態

隠れ状態[行動出力]

制御(注意, 文脈など)

新皮質

高次のL2/3、海馬、小脳？

低次のL2/3

(基底核支配の)視床

高次のL6

低次のL2/3

基底核、[錐体路]

低次のL6、低次のL1

信号のセマンティクス

情報選択(注意)

活動

度制

御

隠れ状態(ボトムアッ

プ)

(低次L5起源)視床

視床

高次のL2/3 or L4、海馬

出力1

出力2

出力3

入力1

入力2

入力3

入力4

入力5

信号のセマンティクス

状態： 外界信号に関わる信念や予測の内部状態全般を表す信号※ 「状態＝最新の状態」、「隠れ状態＝履歴を加味した状態」

制御に関わる信号

第1回 LangRobo

山川宏, 荒川直哉, 高橋 恒一, ”全脳アーキテクチャに必要な新皮質マスターアルゴリズムの検討”, 3K1-OS-06a-5, JSAI2017, 2017.

※AI/機械学習の専門家が脳を参考とする足がかりのための仮説

言語意味理解と全脳アーキテクチャ・アプローチ

第1回 LangRobo

今後のAIで課題となる部分はどこか

第1回 LangRobo

記号/言語能力が前提

既存AIで実現済み

深層学習の発展で数年で実現しそう

革新脳の成果に期待

ヒト類人猿齧歯類

認知

機能

既存

AIで

未実

現

まだまだ目処が

たたない

神経科学知見が豊富

モラル

権利/義務

創造性

直観

心の理論注意

スキル

プログラミング

四則演算

論理推論高度なパタン認

識

計画大人のAI：

実現されていた子供のAi：深層学習で

目処がたってきた

壁の向こう側

言語意味理解

残された主要課題は「言語意味理解」と「汎用性」

記号1

記号2

記号3

対象概念3

対象概念2

対象概念1

入力(画像など)

言語意味理解に向けて：対象間関係の獲得

第1回 LangRobo

Amodalrepresentation

(現状のNLP)

■記号間関係のみ

■言語的な表現の中に閉じている

■物理記号仮説

■トートロジカルな辞書表現．

(山川宏, 2015)必要な3つの関係

記号間関係

記号ー対象概念間関係

対象概念間関係

言語意味理解に向けて：対象間関係の獲得

第1回 LangRobo

Perceptual Symbol System

(人間はやっている)

■三種類の関係

■抽象的な内部表現に，身体（センサ）から意味を与えている．

■深層学習により実現する見込みが見えつつある．

(山川宏, 2015)必要な3つの関係

記号1

記号2

記号3

対象概念3

対象概念2

対象概念1

入力(画像など)

記号間関係

記号ー対象概念間関係

対象概念間関係

記号ー対象概念間関係

言語の二重経路モデル

第1回 LangRobo

記号1

記号2

記号3

対象概念3

対象概念2

対象概念1

DLで画像とテキストを融合する研究も始まっている

第1回 LangRobo

(冨山 翔司, .., 松尾豊, JSAI2017)

画像とテキストの潜在的な意味情報を用いたニューラル翻訳モデルの提案

直観的な物理学や心理学をもたない現在のAI

富士通講演22

Perceiving scenes without intuitive physics, intuitive psychology, compositionality, andcausality. Image captions are generated by a deep neural network (Karpathy & Fei-Fei, 2015) using code from github.com/karpathy/neuraltalk2. Image credits: Gabriel Villena Fernandez (left),TVBS Taiwan / Agence France-Presse (middle) and AP Photo / Dave Martin (right). Similarexamples using images from Reuters news can be found at twitter.com/interesting jpg.

(Lake, 2016)

a woman riding a horse on a dirt road

an airplane is parked on the tarmac at an airport

a group of people standing on top of a beach

画像に対するキャプション生成の例

直観物理学の全体象

②相互作用の直観的理解

①物体特性等の認識

③物体に対する行動

人のような物理世界に対する直観的理解をもつために

第5回AGI研究会23

Galileo(Wo 2015)

第5回AGI研究会24

Galileo: Perceiving Physical Object Properties by Integrating a Physics Engine with Deep Learning

①物体特性等の認識

Interaction Networks (Battaglia 2016) #1/2

第5回AGI研究会25

②相互作用の直観的理解

Interaction Networks (Battaglia 2016) #2/2

第5回AGI研究会26

正解 INモデル 正解 INモデル 正解 INモデル

一般化（要素数などを変化）させ

た状況でも直観物理で予測できる。

Interaction Networks (Battaglia 2016) #2/2

第5回AGI研究会27

Imagination-Based Decision Making

第5回AGI研究会28

HAMRICK, Imagination-Based Decision Making with Physical Models in Deep Neural Networks, 2016

③物体に対する行動

クレーンゲームを題材にすると

第1回 LangRobo

オリジナルゲーム： https://www.youtube.com/watch?v=I2k2pxo6CPU

AIが学習するには結構難しい（ただし作り込めばその範囲はできる）

このぐらいでようやくAIは学習でできるようになる。

https://youtu.be/iLOAJfstE5M

感覚運動期(〜2才)に獲得する「直観物理学」

第1回 LangRobo

Ⅰ (0～1ヶ月) 反復の学習：

生得的な反射により刺激に対して反応

Ⅱ(1～3ヶ月) 第一次循環反応

身体の各部位の行動を繰り返す

Ⅲ(3～8ヶ月) 第二次循環反応対象操作への偶発的操作の結果から外界がどう動くかを把握する

Ⅳ(8～12ヶ月)二次的シェマの協応具体的な行動を通して目的－手段関係を理解して使用

Ⅴ(12～18ヶ月) 第三次循環反応と手段発見手段を変化させた結果の違いを調べる

Ⅵ(18～24ヶ月)心的結合による手段の発明眼前にない目的－手段関係をイメージして，新しい手段を発明できる

②相

互作

用の

直観

的理

解

①物

体特

性等

の認

識 ③物

体に

対す

る行

動

身体

性の

獲得

e.g., Interaction Networks,Neural Physics Engine

e.g., Imagination-Based Decision Making ,Learning Billiards

eg., PhysNet, Galileo

Eg. Metacontroler for Adaptive Imagination based Optimaization

物体間相互作用の理解

定量物理

定性物理

直観物理(素朴理論)

物体特性等の認識

物体に対する行動

視覚的なシーン認識

シーンに対する行動

e.g., Interaction Networks,Neural Physics Engine

e.g., Imagination-Based Decision Making ,Learning Billiards

eg., PhysNet, Galileo

e.g., DQN

e.g., QPE, QSIMe.g., ニュートン力学

記号表現

非記号表現

環 境

深層学習の発展

画像入力 行動出力

予測

直観物理学の現状： まだバラバラに進んでいる

第5回AGI研究会31

参考：Deep Latent Space における汎用プランニング

第1回 LangRobo

(浅井政太郎, 福永Alex, JSAI2017)

脳型アーキテクチャの全体像

第1回 LangRobo

M2

M1 V1S1

EC

触覚 視覚 聴覚

海馬

筋肉

外部環境

基底核 トップダウン情報

ボトムアップ情報

新皮質MA

制御信号

強化学習認識の

取りまとめ

コネクトーム上でのANNモデル開発例(2017年３月)

全脳コネクトームアーキテクチャWhole Brain Connectomic Architecture (WBCA)

脳のコネクトーム情報に基いて作成した静的なアーキテクチャの上に、機械学習モジュールを統合することで、脳型AI開発を目指す。

Network

Architecture

Modeling

三好康佑さんによる実装

Manita et al. 2015

Recurrent

Network

三好康佑さんによるANNでの実装

第1回 LangRobo

富士通講演35

第3回全脳アーキテクチャ・ハッカソン

脳型人工知能のプロトタイプ完成を目指そう！

7月23日（日）15時説明会/チームビルディング

場所：＠φカフェ

オンラインでも参加できます！

https://dwango.zoom.us/j/457833482

8月8日（火）参加者/チーム登録: 〆切

参加費無料 （遠方の学生には旅費補助あり）

目覚めよ海馬！

9月16日～18日ハッカソン当日（予定）

参加費無料 （遠方の学生には旅費補助あり）

目覚めよ海馬 検索

機械学習

知識設計

ニューラル

ネットワーク

人工知能

(認知科学)

神経科学の

測定手法

高級な記述言語

脳全体のANNモデル 脳全体

認知アーキテクチャ

ネジ

マカロック・ピッツモデルニューロン

ピストン

自動車

に例えると

全体設計図

ヒトの

脳

プログラミング言語

新皮質の領野

神経細胞

局所神経回路

深層学習エンジン

マクロ

メゾ

ミクロ

電極

Multi-layered perceptron

Perceptron

新たなる脳科学とAIのフロンティア

fMRI, EEG

コネクトーム

二光子イメージング

統合的理解

いよいよ脳がAI構築に役立つ準備が整った

おわりに： LangRoboとWBAの良い連携をめざして

• WBAからのLangRoboへの貢献可能性– AGIに到達に向けて合意しうるアーキテクチャとしての脳

• コネクトーム制約の導入で「俺々アーキテクチャ」を避ける

– 脳との対応づけを通じ、欠けている機能モジュールの存在に気づきを与える

• 3種類のネットワークの相互理解/相互変換が必要– 確率的グラフィカルモデル

– 人工ニューラルネットワーク(深層学習含む）

– 自然ニューラルネットワーク(メゾスコピック・コネクトーム)

• 発達直観物理学は、WBAとLangRoboとで共有しうるテーマとなりうる– WBAは現時点では齧歯類が対象(何れは人へ)

– 乳児の発達段階は、動物とある程度は対応づけしうる

第5回AGI研究会37

皆様のWBAI活動参加をお待ちしております

第1回 LangRobo

WBA開発に関わりたい→WBAI開発部

協力者として参加したい→サポーターズ

WBAIの活動を支援したい→賛助会員

WBAI技術奨励賞のために寄付したい

http://wba-initiative.org/sig-wba

http://wba-initiative.org/contact/

http://wba-initiative.org/join

http://wba-initiative.org/support

開発Meeting, ロードマップ議論

WBA開発に貢献大の方を表彰

勉強会／ハッカソンの運営支援

WBAIの活動資金を提供頂く