全脳アーキテクチャ勉強会第１回（山川）

脳をガイドとして超脳知能に至る最速の道筋を探る

富士通研究所

山川宏 2013年12月19日

全脳アーキテクチャ勉強会(第１回)

全脳アーキテクチャ勉強会（第一回)

脳をガイドとして超脳知能に至る最速の道筋を探る

富士通研究所

山川宏 2013年12月19日

全脳アーキテクチャ勉強会(第１回)

人の脳を超える人工知能


CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS

General Narrow

High

計算

コス

ト

Low

物理環境の制約に特化した汎用性を追求しつつ計算可能な究極の超知能

Physical AI

Universal AI

現実的な計算が不能な理論的存在

人間の脳

領域依存性

マウスの脳

昆虫の脳

Very High

WBA

知能のスペクトル

理論からの特殊化

全脳アーキテクチャ(WBA) 脳をガイドとして作られた，

脳をちょっと超えた脳っぽい知能．

全脳アーキ(WBA)は人間的知能の少し先を目指す

全脳アーキテクチャ勉強会（第一回) 2


General Narrow

High

計算

コス

ト

Low

物理環境の制約に特化した汎用性を追求しつつ計算可能な究極の超知能

Physical AI

Universal AI

現実的な計算が不能な理論的存在

人間の脳

領域依存性

マウスの脳

昆虫の脳

Very High

WBA

知能のスペクトル

理論からの特殊化

全脳アーキテクチャ(WBA) 脳をガイドとして作られた，

脳をちょっと超えた脳っぽい知能．

全脳アーキ(WBA)は人間的知能の少し先を目指す


WBA 既存ＡＩ

実現したら併せて利用

3

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS4

一杉裕志 BESOM命：ソフト工学から計算論的神経科学へ

松尾豊 Deep Learningからの表現獲得を目指すAI研究者

山川宏ライフワークとして脳の知能を理論から攻めたい


私の脳アーキテクチャ研究 • 1983.4～ 1986.3 東京理科大学理論物理学士

• 1987.4～ 1989.3 東大実験物理修士課程

• 1989.4～1992.3 東大電子工学科博士課程

– 強化学習に基づく知能システムの研究

• 1992.4 (株)富士通研究所入社

– センサフュージョンプロジェクトにおいて、ニューラルネットによる感覚運動融合モデルの研究(Auto encoder Network)

• 1994.10～1997.3 RWC 能動知能研（つくば)

– マルチエージェントシステムによる手渡ロボットシステム

• 1997.3～2001.3 富士通研究所(RWC自律学習研兼務)

– RWCPにて、強化学習および状況分解(表象獲得)の認知距離学習器(ゴール志向アーキテクチャの一種)研究

• 2001～2004: バイオインフォマティクス，

• 2005～2006: 集合知(直接民主制のための意見集約)

• 2007～2008: 人物情報クラウド(分散ID管理システム)

• 2009～2010: 環境ソリューション，

• 2011～：脳に学ぶ人工知能全脳アーキテクチャ勉強会（第一回) 5


私の脳アーキテクチャ研究 • 1983.4～ 1986.3 東京理科大学理論物理学士

• 1987.4～ 1989.3 東大実験物理修士課程

• 1989.4～1992.3 東大電子工学科博士課程

– 強化学習に基づく知能システムの研究

• 1992.4 (株)富士通研究所入社

– センサフュージョンプロジェクトにおいて、ニューラルネットによる感覚運動融合モデルの研究(Auto encoder Network)

• 1994.10～1997.3 RWC 能動知能研（つくば)

– マルチエージェントシステムによる手渡ロボットシステム

• 1997.3～2001.3 富士通研究所(RWC自律学習研兼務)

– RWCPにて、強化学習および状況分解(表象獲得)の認知距離学習器(ゴール志向アーキテクチャの一種)研究

• 2001～2004: バイオインフォマティクス，

• 2005～2006: 集合知(直接民主制のための意見集約)

• 2007～2008: 人物情報クラウド(分散ID管理システム)

• 2009～2010: 環境ソリューション，

• 2011～：脳に学ぶ人工知能全脳アーキテクチャ勉強会（第一回) 6

アインシュタインの思考実験に感銘

M. Minskyの「心の社会」に影響を受けた．

ニューラルネットの可能性に期待


博士時代は，強化学習の神経回路を研究

価値観の学習は再帰的な神経回路により実現されると考えた． (1991)


当時は扁桃核としてのモデル化を検討していた

1990年頃は，神経回路モデルから強化学習を扱う研究がAI/NCの両分野で増えた． Barto, Werbos, Klopf, Watkins, Sutton, ...

1990年中頃には，神経回路構造から大脳基底核の関与が強く予想されるように．

1990年代後半にSchultzらの実験から，現在の新皮質－大脳基底核ループが見えてきた．


パターンベースド知能システム学習能力から見たシンボルグラウンディング問題の検討..

(山川，情報統合ワークショップ, 1995)

自身の研究としては，

推論に用いる内部表現

（フレーム)の獲得に注力



入社後の萌芽的なAuto encoder Network研究自律的な表現獲得のために90年台中頃に，Auto encoder networkに着目していた． (山川ら，階層化された砂時計型ニューラルネットによる自律的な内部表現獲得, 1995)


残念ながら，スパース表現の重要さに気づけなかった

9


プロ棋士の脳機能イメージングの実験結果マクロレベルの直観力回路が見えてきた

将棋プロジェクト(2007年度～2010年度）

代表成果：「棋士の直観的な最善手決定を担う脳神経機構」が米国Science誌掲載(2011/1/21）

楔前部

尾状核

盤面認識

次の一手

目視覚野

①-a: 前頭前野 (意味のある局面を約0.2秒で認識)

②大脳基底核 (有力指し手の生成) ①-b: 楔前部

(局面の意味理解）

解き明かされたこと • 盤面認識は楔前部、次の一手は尾状核など特定領域が機能する • それら領域の活動の強さや分布が熟達度や戦法などの個性と関係

「将棋における脳内活動の探索研究」として理研BSI主導で共同研究 ※世間的注目高く， NHKのTV番組，新聞，理研サイエンスセミナー等の発表成果多数

新皮質(楔前部)における，経験からの表現獲得が計算機では未実現 10


人レベルの知能を目指す汎用人工知能（AGI)研究



Independently of the various concerns about the appropriateness of Human Level AI as a goal, I think we'll indeed achieve it. I won't predict when except that it will probably be sometime in this century.

Nilsson, 2009



加速するAI技術(シンギュラリティに向けて)

技術

／知

識レ

ベル

時間主役交代

Singularity以前

ヒトによる設計が律速段階

Human

Design

AI

Design

Technology

Singularity以降

創造的AIが自己再帰的な知識発展の循環が起こる

創造的

AI

Design

Technology

シンギュラリティとは従来の傾向に基づく技術の進歩予測が通用しなくなる時点

IBMのワトソン君がクイズ王に勝利(2011年)

電王戦でGPS将棋がプロ棋士に勝利(2013年)



シンギュラリティの起きる時期の予測

予測を行った年

予測

され

た年

2012

2012

Singularity Institute, “How We’re Predicting AI – or Failing To,” 2012

WBAで目指しうる



動きの激しいSingularityに関わる組織

http://intelligence.org

http://singularityu.org/

http://www.fhi.ox.ac.uk/

http://www.agi-conference.org/

学会を作って雑誌を発行

http://www.agi-society.org/

人レベルAIの創生だけでなく，そこから生じるリスクに係る研究も多い全脳アーキテクチャ勉強会（第一回)

国際会議AGI

15


Artificial General Intelligence (AGI)とは


Ben Goertzel, Cassio Pennachin, Artificial General Intelligence (Cognitive Technologies)， 2007

AGIとは self-understanding autonomous self-control solve a variety of complex problems in a

variety of contexts learn to solve new problems that they

didn’t know about at the time of their creation.

AGIでないものは実践的だが特化した”narrow AI” ソフトウェアとして実装不能な純粋な理論AI研

究

16


AGIを目指す様々なアプローチ Symbolic 人間の知的な行動を模倣するプログラムを書き下す伝統的なAI研究．脳自体ではなく心をエミュレートするアプローチが多い

• NARSアーキテクチャ(Wang)， 3DシミュレーションをキーとしたAGI (Hoyes) 進展はありつつも停滞感があり，この延長だけで良いのか不安がある

Emergentist：以下のような脳をエミュレートするアプローチが主役全脳エミュレーション（WBE)

時間はかかるが何れは確実にできると思われている(次ページで説明) 全脳アーキテクチャ(WBA)：我々が最速で実現できると考えるアプローチ Neurocomputing：これらは必ずしも全脳ではない

• LAMINART(Grossberg), a2i2 アーキテクチャ( Voss) , Deep learning Neuro-inspired Evolvable Hardware (Hugo de Garis)

Hybrid： SymbolicとEmergentist の融合例えば，OpenCog (Ben Goertzel)


17


いつかは実現する全脳エミュレーション (WBE)

2060年代頃に達成見込みが想定されている．

脳全体を分子／原子レベルから詳細にエミュレー

ションすれば，AGIが実現できること自体は余り疑

う余地はない．(Mind Uploading等とも呼ばれる)

「単なるシステム同定課題」に分解される．

脳測定技術の向上を待つ必要あり脳機能の詳細なシミュレーションに十分な時空間解

像度を持つスキャナーがない．急速な技術進歩を外挿するなら，2030-2050年ごろ

には現実的になるだろう．



国内(AI学会周辺)でのAGI関連活動を活性化 2012.9 ：第1回トポス会議「人間の知性とコンピュータ科学の未

来」(富士通総研，AI学会後援) 2012.12: 国際会議AGI-12で山川が発表(後ほど説明する内容)

2013.5： AI学会誌特別企画「シンギュラリティの時代:人を超えゆく知性とともに」にあたって(山川，我妻，吉田ら)

2013.7～：汎用人工知能輪読会(山川，市瀬ら) ，現在５回目第２回目にはBen Goertzel氏がゲスト参加．

2013.8: 国際会議AGI-13で荒川氏が発表

2014.5: AI学会誌特集「AGIへの招待」 (山川，市瀬) AAAIに2012年春掲載の「AGIロードマップ」記事(篠田訳)等

2014.5 ： AI学会全国大会 OS「汎用人工知能とその社会への影響」(市瀬，山川，荒川) 12月27日に概要登録〆切

19


Scenario Milestones on the AGI Landscape (Mapping the Landscape of Human-Level Artificial General Intelligence , AI Magazine , 2012年春)

知覚とモーター技能の豊かなレパートリーを取得する。主要な重大事件を含んでいる、隠された物を捜し求める能力や簡単なツールとして物を使用する能力

精神的に、彼らの経験(例えば、メモリ、心像、図面、言語など)を表すが、論理的に一貫した方法で系統的にこれらの表現を調整する能力を欠く

具体的な業務計画レベルにおける子供は論理的で数学の考えの基本要素を習得す．クラスとカテゴリに関して推論する能力を含む算術演算や関係と同様に。

演繹的論理学、結合の推理、および仮定している出来事に関して推論する能力の使用を含んでいる。

声に出していた思考の能力が徐々に内面化する

両親、教師等の支援により単独でできることを超えて子供が発達する．

学習をガイドする物、考え、およびユニークな伝統を「引き継ぐ」(例えば、本、計算機、コンピュータなど)


訳：篠田孝祐


Scenario Milestones on the AGI Landscape (Mapping the Landscape of Human-Level Artificial General Intelligence , AI Magazine , 2012年春)

知覚とモーター技能の豊かなレパートリーを取得する。主要な重大事件を含んでいる、隠された物を捜し求める能力や簡単なツールとして物を使用する能力

精神的に、彼らの経験(例えば、メモリ、心像、図面、言語など)を表すが、論理的に一貫した方法で系統的にこれらの表現を調整する能力を欠く

具体的な業務計画レベルにおける子供は論理的で数学の考えの基本要素を習得す．クラスとカテゴリに関して推論する能力を含む算術演算や関係と同様に。

演繹的論理学、結合の推理、および仮定している出来事に関して推論する能力の使用を含んでいる。

声に出していた思考の能力が徐々に内面化する

両親、教師等の支援により単独でできることを超えて子供が発達する．

学習をガイドする物、考え、およびユニークな伝統を「引き継ぐ」(例えば、本、計算機、コンピュータなど)

発達の視点ベンチマークを設定


計算論の視点

21

訳：篠田孝祐


全脳アーキテクチャ(WBA)と THEORY-GUIDED NEUROCOMPUTING(TGNC)

脳にガイドされた創発的発見によるAGI研究

22 全脳アーキテクチャ勉強会（第一回)


脳に対応づけてシステム構築【WBA】

脳をガイドとする基準の検討も必要 • 多くの実験事実により支持される． • 計算手段はできるだけ単純 • 器官毎の計算機能が包括的に含ま

れる．


(おそらく)二つの研究が重要器官モデル実装：

脳の仕様に沿って器官を実装 (概ね既存の機械学習の組み合わせ)

脳型統合ＰＦ：上記モデルを，統合するためのプラットフォームを脳をガイドとして設計する．

• 神経科学や認知科学等の知見(実験結果)を参考としながら、 • 各器官を機能的に妥当な範囲で単純な計算手段として解釈し、 • それら計算手段を統合した人型超脳アーキテクチャを構築

23

扁桃体海馬

小脳基底核

大脳皮質


計算論的神経科学の枠組み (David Marr, 1982)


計算理論

計算手段 (アルゴリズム

と表現)

神経回路 (生物学的に妥当な実装)

計算の目標(機能)は何か、なぜそれが適切なのか、そしてその実行可能な方略の理論は何か． (例: 強化の理論)

計算理論を実現する計算手段．特にその入力と出力の表現と変換のためのアルゴリズム． (例: Q学習等)

実験データを説明できる詳細さをもつ神経回路モデル/分析．(例：ドーパミンニューロンの神経回路モデル）

24


計算論的神経科学の枠組み (David Marr, 1982)


計算理論


と表現)


計算の目標(機能)は何か、なぜそれが適切なのか、そしてその実行可能な方略の理論は何か． (例: 強化の理論)

計算理論を実現する計算手段．特にその入力と出力の表現と変換のためのアルゴリズム． (例: Q学習等)

実験データを説明できる詳細さをもつ神経回路モデル/分析．(例：ドーパミンニューロンの神経回路モデル）

脳科学実験の結果

行動/心理実験の結果

計算処理としての

実現性

25


既存研究領域の位置づけ

計算理論


と表現)


脳器官(ミクロ) 脳全体(マクロ)

脳科学実験(マクロ)結果


脳科学実験(ミクロ)結果




計算理論


と表現)






× × × × × × × × × ×

マクロバリアー




計算理論


と表現)






× × × × × × × × × ×





計算理論


と表現)






× × × × × × × × × ×

ミクロ-マクロギャップ




既存研究分野の俯瞰図


計算理論


と表現)






× × × × × × × × × ×

機械学習

AI 認知科学

Neuro computing

計算論的神経科学

認知モデル/アーキテクチャ

30




計算理論


と表現)






× × × × × × × × × ×

システム同定の大規模化

31

WBE (全脳エミュレー

ション




計算理論


と表現)






× × × × × × × × × ×

システム同定の大規模化

脳測定技術の向上を待つ必要あり

32

WBE (全脳エミュレー

ション


WBAはどう位置づけられるか


計算理論


と表現)






× × × × × × × × × ×

WBA

AI

器官モデル統合機械学習

33


脳に対応づけてシステム構築【WBA】

脳をガイドとする基準の検討も必要 • 多くの実験事実により支持される． • 計算手段はできるだけ単純 • 器官毎の計算機能が包括的に含ま

れる．


(おそらく)二つの研究が重要器官モデル実装：

脳の仕様に沿って器官を実装 (概ね既存の機械学習の組み合わせ)

脳型統合ＰＦ：上記モデルを，統合するためのプラットフォームを脳をガイドとして設計する．

• 神経科学や認知科学等の知見(実験結果)を参考としながら、 • 各器官を機能的に妥当な範囲で単純な計算手段として解釈し、 • それら計算手段を統合した人型超脳アーキテクチャを構築

34

扁桃体海馬

小脳基底核

大脳皮質


なぜWBA研究が可能なのか [理由1] 多くの脳器官において原理的な計算手段(機械学習)が特定未解明な部分における計算理論を推定する足がかりが増えた

[理由２] 機械学習／AI技術の成熟器官毎の計算手段は，概ね既存の機械学習で説明できるであろう．

[理由3] 神経科学もオープン・ビッグデータ時代に理論家は新たな実験を行わずに様々な可能性を検証できるように

コネクトームなど．

35


Theory-Guided Neurocomputing (TgNC)も可能に


計算理論


と表現)






× × × × × × × × × ×

36




計算理論


と表現)






× × × × × × × × × × Neuro computing

37




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

38




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

前記３つの理由から，計算手段を担う脳器官を絞り込みうる状況に．

39

理論からのガイド




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC


40


Theory-guided

Neurocomputing




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC


41



TgNCで，未実現の計算手段を脳に学びうる

Theory-guided Neurocomputing(TgNC)研究では， • 何らかの計算理論(複数でも良い)をターゲットとして， • それを担う脳器官を特定しつつ，そこでの神経科学的知見(神経

活動，神経回路等)を積極的なガイド(制約)として用いることで， • 新たな計算手段(機械学習)を創造的に発見する人工知能研究の一分野である．

TgNCの研究アプローチとしての強みは何か？単なるNeurocomputingと異なり，特定の計算理論をトップダウン

に想定して特定の脳器官が担う計算手段の仮説構築を行える． AI研究として計算理論からだけではモデル化し難い，脳に備わる

計算手段を，ミクロな脳科学知見をガイドとして解き明かせる．

42


TgNCで「フレーム問題」に迫る


計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC

43




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC

①フレーム問題

(のある部分)

44




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC


(のある部分)

②新皮質の多様な表象獲得を等価性構造抽出と仮定

45




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC


(のある部分)


③表象獲得を支える海馬

46




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC


(のある部分)



④海馬では局所時系列を利用

47




計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC


(のある部分)



④海馬では局所時系列を利用

⑤局所時系列を利用した

等価性構造抽出法を提案

48


⑤等価性構造抽出法の提案

等価性構造抽出は局所時系列を用いればできそうだ

④海馬のシータ位相歳差現象 Several sequential events are packed in each phase (~5 Hz)

( Sato and Yamaguchi : Neural Computation 2003)

局所時系列の情報表現をガイドとした

(Yamakawa, Artificial General Intelligence, 2012) (Yamakawa, Society for Neuroscience, 2013)

C

A B

D E F Z

X Y

Time

1 2 3 4 5 6 7

Time

1 2 3 4 5 6 7 結合フレーム

Time: t

D

F E

G

A

H 1 2 3 4 5 6 7

B C

Original frame

D

F E

G

A

H

Input sequence

1 2 3 4 5 6 7

B C

部分空間

Set

of N

var

iabl

es


局所時系列の比較により，変数集合をマージした，結合フレームを生成

49


なぜ不完全な脳理解から計算手段を学べるのか現状：神経科学の実験技術的な限界単なる”模倣”で計算手段を学べると考えるのはアマすぎる．

• 脳全体の神経活動を，十分な時間＆空間分解能で測定する測定技術はまだ無い．多くの抑制性細胞やグリア細胞も未解明部分多い． → しばしば実現悲観論の根拠

むしろ神経科学知見は，計算手段の仮説を創造を助けるガイドと捉えるべき，ただし仮説が正確な真実である必要はなく，その証明の必要もない(工学なので) 神経回路の情報処理は，概ね既存の機械学習で説明できるであろう

あえて制約を受け入れて脳と対応させるメリットは (大抵の場合，工学的にベターな手段があるのに) WBAにおいて：

• 器官ごとの計算手段を統合するためのプラットフォーム設計の指針となる TgNCにおいて：

• 未解明の計算理論に対応する計算手段を脳をガイドとして仮説を構築できる．

50


脳をガイドとして最速で超脳知能に辿り着くためのロードマップとは



なぜWBAが最速なのか AIで未実現の知能を担う大脳新皮質において，

多様な機能を，一様な機構で実装 → 大脳新皮質の計算手段さえ解れば良い！

実現が2040年台以降と予想されるWBEより先行できると思う

・身体運動的知能

・言語的知能

・論理数学的知能

・音楽的知能

・対人的知能

・内省的知能

・空間的知能

図の出典： http://bio1152.nicerweb.com/Locked/media/ch48/48_27HumanCerebralCortex.jpg


WBAとTgNCから迫る超脳知能へのシナリオ

シナリオA：機械学習はもう十分足りている，あとは統合

→WBAが主導的

シナリオB：いくつかの要素技術の突破さえすればいいのでは

→TgNCがやや主導的

シナリオC: 機械学習(要素技術)も統合技術も，まだまだ脳にまな

ばなければ．

→WBAもTgNCもやらなければ

53 全脳アーキテクチャ勉強会（第一回)


シナリオA: 適切な技術統合のみで実現


仮定：脳を説明する機械学習は既に足りている (課題は，器官モデルを統合するプラットフォームだった)

計算理論

計算手段 (アルゴリズムと表現)






× × × × × × × × × ×

WBA

AI

器官モデル統合機械学習

人型超脳知能

54


シナリオB: TgNCが主導する


仮説：実現障壁は，既知のAI基本問題に帰着 (要素計算手段の統合は課題では無かった)

計算理論







× × × × × × × × × ×

WBA

AI

機能部位特定

AI

Neuro computing

TgNC

人型超脳知能

工学応用

多様な技術との工学的統合フレーム

生成装置

記号接地モジュール

55


シナリオC: 二つの流れを連携させて到達


仮説：要素技術を探求しながら，脳型の統合も必要であった．(統合にも要素にも課題があった)

計算理論







× × × × × × × × × ×

WBA

AI

機械学習

機能部位特定

AI

Neuro computing

TgNC

人型超脳知能

56


もはや超脳知能創生は，単なる夢物語とは言えない

研究仲間を集め／育てる実現に向けたロードマップ作成

力を結集してWBAからの超脳知能の構築を目指し，日本の知能技術の優位性を確立


人型超脳知能

人型超脳知能

工学応用

多様な技術との工学的統合計算手段

(アルゴリズムと表現)

57

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS 全脳アーキテクチャ勉強会（第一回)

AI研究にとって，

脳とは，

恥ずかしがり屋な

ガイドである．

58

全脳アーキテクチャ勉強会 第１回（山川）

Technology

Transcript of 全脳アーキテクチャ勉強会 第１回（山川）

全脳アーキテクチャ勉強会第１回（山川）

Transcript of 全脳アーキテクチャ勉強会第１回（山川）