全脳アーキテクチャ勉強会第４回（山川）

脳をガイドとして超脳知能に至る最速の道筋を探る

ｰ AGIにおける固有事前知識学習(SPL) ｰ

富士通研究所

山川宏 2014年6月2日

全脳アーキテクチャ勉強会(第４回)

全脳アーキテクチャ勉強会（第４回)

脳をガイドとして超脳知能に至る最速の道筋を探る

ｰ AGIにおける固有事前知識学習(SPL) ｰ

富士通研究所

山川宏 2014年6月2日

全脳アーキテクチャ勉強会(第４回)


人の脳を超える人工知能

CONFIDENTIAL MATERIAL / RESTRICTED ACCESSCONFIDENTIAL MATERIAL / RESTRICTED ACCESS

私の脳アーキテクチャ研究 • 1983.4～ 1986.3 東京理科大学理論物理学士

• 1987.4～ 1989.3 東大実験物理修士課程

• 1989.4～1992.3 東大電子工学科博士課程

– 強化学習に基づく知能システムの研究

• 1992.4 (株)富士通研究所入社

– センサフュージョンプロジェクトにおいて、ニューラルネットによる感覚運動融合モデルの研究(Auto encoder Network)

• 1994.10～1997.3 RWC 能動知能研（つくば)

– マルチエージェントシステムによる手渡ロボットシステム

• 1997.3～2001.3 富士通研究所(RWC自律学習研兼務)

– RWCPにて、強化学習および状況分解(表象獲得)の認知距離学習器(ゴール志向アーキテクチャの一種)研究

• 2001～2004: バイオインフォマティクス，

• 2005～2006: 集合知(直接民主制のための意見集約)

• 2007～2008: 人物情報クラウド(分散ID管理システム)

• 2009～2010: 環境ソリューション，

• 2007～：脳に学ぶ人工知能(将棋プロジェクトなど)

• 2013～: 全脳アーキテクチャ全脳アーキテクチャ勉強会（第４回) 2


私の脳アーキテクチャ研究 • 1983.4～ 1986.3 東京理科大学理論物理学士

• 1987.4～ 1989.3 東大実験物理修士課程

• 1989.4～1992.3 東大電子工学科博士課程

– 強化学習に基づく知能システムの研究

• 1992.4 (株)富士通研究所入社

– センサフュージョンプロジェクトにおいて、ニューラルネットによる感覚運動融合モデルの研究(Auto encoder Network)

• 1994.10～1997.3 RWC 能動知能研（つくば)

– マルチエージェントシステムによる手渡ロボットシステム

• 1997.3～2001.3 富士通研究所(RWC自律学習研兼務)

– RWCPにて、強化学習および状況分解(表象獲得)の認知距離学習器(ゴール志向アーキテクチャの一種)研究

• 2001～2004: バイオインフォマティクス，

• 2005～2006: 集合知(直接民主制のための意見集約)

• 2007～2008: 人物情報クラウド(分散ID管理システム)

• 2009～2010: 環境ソリューション，

• 2007～：脳に学ぶ人工知能(将棋プロジェクトなど)

• 2013～: 全脳アーキテクチャ全脳アーキテクチャ勉強会（第４回) 3

アインシュタインの思考実験に感銘

M. Minskyの「心の社会」に影響を受けた．

ニューラルネットの可能性に期待


所感ー本日の発表にあたってー

初回(2013年12月19日)以来，多くの皆様からの様々な支援をうけWBAの方向性には手応えは感じつつあります．

そこで今後は，WBAの早期に実現するためにやるべきことを，明確化するフェーズに入りたい．

4 全脳アーキテクチャ勉強会（第４回)

なぜ今，全脳アーキテクチャ(WBA)なのか

WBA実現のために，何をすべきか？


本日の話題


Deep Learningによる表現獲得

汎用人工知能(AGI)に必要な固有事前知識学習(SPL)

人間レベルのAIが引き起こすシンギュラリティが見えつつある

なぜ今，WBAなのかどうWBAを実現するか？

• 脳に対応づくアーキテクチャ研究の存在 • Deep Learningによる表現獲得の出現


まとめ： WBA推進に向け考えるべきこと(案) 共同のための統合プラットフォーム複数の研究チームによる，各脳器官のモデルを統合する仕組み

Deep Learning＋意志決定，時系列データなどへの発展， BESOM活用他の脳器官との機能的統合

理論研究アーキテクチャ論表現獲得と事前知識 (階層性，不変性，スパース性など) AI基本問題(フレーム問題，記号接地問題)

神経科学知見の効果的な活用理論やアーキテクチャ設計のガイドに膨大な神経科学知見を利用する方法

共通目標の設定(WBAロードマップの作成) 10年後は，Seed AI (自己再帰的に発展するAIの種)である３～５年後に実現する，技術的アウトプットは何か


WBA実現にむけ皆で議論したい


本日の話題





なぜ今，WBAなのかどうWBAを実現するか？



人レベルの知能を目指す汎用人工知能（AGI)研究

全脳アーキテクチャ勉強会（第４回) 8


Goertzel氏による「汎用人工知能概観」（人工知能学会誌5月号）

AGI： “Narrow AI” の反対概念 Narrow AI（←レイ・カーツワイル）（「特化型AI」）個別の文脈において個別の「知的な」振る舞いをする

AGIの中心仮説「十分に広範な適用範囲と強力な汎化能力を持つAIの作成・研究は，より狭い (Narrow) 適用範囲と弱い汎化能力を持つ AIの作成・研究とは根本において質的に異なる」



技術

社会

汎用人工知能に関わる国内外の動き

10

【国内】【英米】

学会

ディープラーニング

学会 AGI輪読会(2013～)

全脳アーキテクチャ勉強会(2013～)

第一回：人間の知性とコンピュータ科学の未来(2012)

www.sig-agi.org



人間レベルの汎用人工知能の実現に向けた展望 Mapping the Landscape of Human-Level Artificial General Intelligence, AI Magazine 2012年春号の記事（12名の共著）「人工知能」2014年5月号に翻訳版

初めての家でコーヒーをいれる

知覚とモーター技能の豊かなレパートリーを取得する。主要な重大事件を含んでいる、隠された物を捜し求める能力や簡単なツールとして物を使用する能力

精神的に、彼らの経験(例えば、メモリ、心像、図面、言語など)を表すが、論理的に一貫した方法で系統的にこれらの表現を調整する能力を欠く

具体的な業務計画レベルにおける子供は論理的で数学の考えの基本要素を習得す．クラスとカテゴリに関して推論する能力を含む算術演算や関係と同様に。

演繹的論理学、結合の推理、および仮定している出来事に関して推論する能力の使用を含んでいる。

声に出していた思考の能力が徐々に内面化する

両親、教師等の支援により単独でできることを超えて子供が発達する．

学習をガイドする物、考え、およびユニークな伝統を「引き継ぐ」(例えば、本、計算機、コンピュータなど)



Goertzel氏による「汎用人工知能概観」（人工知能学会誌5月号）

AGI： “Narrow AI” の反対概念 Narrow AI（←レイ・カーツワイル）（「特化型AI」）個別の文脈において個別の「知的な」振る舞いをする




No Free-Lunch定理 [David H.Wolpert and William G. Macready 1995]

組み合わせ最適化問題に対して：「あらゆる問題で性能の良い汎用最適化戦略は理論上不可能であり、ある戦略が他の戦略より性能がよいのは、現に解こうとしている特定の問題に対して特殊化（専門化）されている場合のみである」

機械学習に対して：「事例の分布などについて事前知識がなければ，あらゆる目的関数について他を常に上回るような学習アルゴリズムは存在しない」「no free lunch定理 - 機械学習の「朱鷺の杜Wiki」」

結局性能を上げるには事前知識が必要「工学者や最適化の専門家にとって、この定理は、問題領域の知識を可能な限り使用して最適化すべきだということを示しており、領域を限定して特殊な最適化ルーチンを作成すべきであることを示している。」「ノーフリーランチ定理 - Wikipedia」

• 定理の適用範囲がどこまでなのかが要注意だが、直観的には納得できる話。



汎用的な知能を実現する方法は？多様なSPKをあらかじめ設計(‘big switch statement’ approach,)

Narrow AIを十分に蓄積し，必要に応じて使い分ける．人間の知的な行動を模倣するプログラムを書き下す伝統的なAI研究

固有事前知識学習(SPL)による

設計時には想定されていない課題を解決する能力を学習する固有事前知識(SPK)を獲得する脳が行っているアプローチ→全脳アーキテクチャ(WBA)

14

「ノーフリーランチ定理 - Wikipedia」全脳アーキテクチャ勉強会（第４回)


AGI

Narrow AI

ＳＰＬ：設計時に未想定の課題への適応

固有事前知識 (SPK)

データ

知識表現ルールとか

学習 (machine learning)

固有事前知識学習 (SPL)

一般事前知識 (GPK)

実行

特定の問題領域やモダリティ内で一般性の高い知識の獲得 SPL= Specific Prior Learning


課題領域やモダリティに固有の表現 • フレーム • 不変特徴量

ex.二次元画像の局所ウィンドウ


SPLは大脳新皮質からを学びうる

一様な機構で，多様な機能を実現


・身体運動的知能

・言語的知能

・論理数学的知能

・音楽的知能

・対人的知能

・内省的知能

・空間的知能

図の出典： http://bio1152.nicerweb.com/Locked/media/ch48/48_27HumanCerebralCortex.jpg


全脳アーキテクチャ(WBA)

人工知能分野における基本的な

知能アーキテクチャを，

脳の主要な器官にフィットするよう

に再構成する．



全脳アーキテクチャ(WBA)のアプローチ

18

研究テーマの4本柱 ①全脳アーキテクチャの理論／モデル化

統合アーキテクチャ個別の器官モデル実装

②脳ビッグデータの活用 (脳科学知見の調査)

③工学的なアウトプット ④社会的なインパクト

アプローチ． ① 脳の各器官の機能を機

械学習として開発し， ② それらを統合したアー

キテクチャを構築

脳とAIは既に大雑把には対応付け可能

脳

AI



AI分野の知能エージェントは脳に対応付けうる


状態/知覚

行動

意図

効用/報酬

情報の種類

目的

この対応付けについては，第三回全脳アーキテクチャ勉強会資料(山川)を参照


「Deep Learning＋」があれば必要な部品は揃いそう

20

理想的な知能

(計

算できない

)

D：人の新皮質が現状Deep Learning(DL)より優れている知能 α： DLと無関係に，AIが人レベルではない知的機能の集合

実現可能な知能

汎用性

創造性

直観

…

AI 人の知能

α D

情動／感情 (扁桃体)

強化学習 (大脳基底核)

制御理論 (小脳) 効率的な，

四則演算，

大量データからの検索

パターン認識

Deep Learning (DL)

論理推論第5世代コンピュータ

WBAアプローチ ① 脳の各器官の機能を機械学習として開発し， ② それらを統合したアーキテクチャを構築



いつかは実現する全脳エミュレーション (WBE)

2060年代頃に達成見込みが想定されている．

脳全体を分子／原子レベルから詳細にエミュレー

ションすれば，AGIが実現できること自体は余り疑

う余地はない．(Mind Uploading等とも呼ばれる)

「単なるシステム同定課題」に分解される．

脳測定技術の向上を待つ必要あり脳機能の詳細なシミュレーションに十分な時空間解

像度を持つスキャナーがない．急速な技術進歩を外挿するなら，2030-2050年ごろ

には現実的になるだろう．



本日の話題





なぜ今，WBAなのか


① 脳器官の機械学習として開発 ② 上記を統合したアーキを構築

どうWBAを実現するか？


シンギュラリティ (技術的特異点)



本日の話題










加速するAI技術(シンギュラリティに向けて)

技術

／知

識レベル

時間主役交代

Singularity以前

ヒトによる設計が律速段階

Human

Design

AI

Design

Technology

Singularity以降

創造的AIが自己再帰的な知識発展の循環が起こる

創造的

AI

Design

Technology

シンギュラリティとは従来の傾向に基づく技術の進歩予測が通用しなくなる時点

IBMのワトソン君がクイズ王に勝利(2011年)

電王戦でGPS将棋がプロ棋士に勝利(2013年)



Independently of the various concerns about the appropriateness of Human Level AI as a goal, I think we'll indeed achieve it. I won't predict when except that it will probably be sometime in this century.

Nilsson, 2009



シンギュラリティの起きる時期の予測

予測を行った年

予測

され

た年

2012

2012

Singularity Institute, “How We’re Predicting AI – or Failing To,” 2012

WBAで目指しうる



全脳アーキテクチャ(WBA)の実現に向けて



本日の話題










脳をガイドとするWBAアプローチの優位点

32

伝統的AIの課題

脳をガイドとする優位点

WBA アプローチ

個々の技術を統合する指針がなくバラバラになる

【統合の指針】成熟した機械学習をアーキテクチャーとして統合するための指針

②各器官のモデルを統合しアーキテクチャ構築

難しい問題(表現獲得など)は先送りにされ続けた

【未解決課題のヒント】残された課題についてヒントを得られる． (TgNC)

①脳の各器官の機能を機械学習として開発

Narrow AIなので，問題領域毎にアタックする必要

【汎用技術志向】汎用的な新皮質に学ぶことで，多くの問題を一気に解決(SPL)

脳はガイド：「生物学的な真実との一致性」は

目的ではなく手段



計算論的神経科学の枠組み (David Marr, 1982)


計算理論

計算手段 (アルゴリズム

と表現)

神経回路 (生物学的に妥当な実装)

計算の目標(機能)は何か、なぜそれが適切なのか、そしてその実行可能な方略の理論は何か． (例: 強化の理論)

計算理論を実現する計算手段．特にその入力と出力の表現と変換のためのアルゴリズム． (例: Q学習等)

実験データを説明できる詳細さをもつ神経回路モデル/分析．(例：ドーパミンニューロンの神経回路モデル）

脳科学実験の結果

行動/心理実験の結果

計算処理としての

実現性

33


既存研究領域の位置づけ

計算理論


と表現)


脳器官(ミクロ) 脳全体(マクロ)

脳科学実験(マクロ)結果


脳科学実験(ミクロ)結果

× × × × × × × × × ×

ミクロ-マクロギャップ

マクロバリアー



既存研究分野の俯瞰図


計算理論


と表現)






× × × × × × × × × ×

機械学習

AI 認知科学

Neuro computing

計算論的神経科学

認知モデル/アーキテクチャ

35


WBAはどう位置づけられるか


計算理論


と表現)






× × × × × × × × × ×

WBA

AI

器官モデル統合機械学習

36


Theory-Guided Neurocomputing (TgNC)も可能に


計算理論


と表現)






× × × × × × × × × ×

機能部位特定

AI

Neuro computing

TgNC

37

理論からのガイド

Theory-guided

Neurocomputing


WBAのアプローチ


計算理論

計算手段 (アルゴリズムと表現)






38

① 脳の各器官の機能を機械学習として開発し，

② それらを統合したアーキテクチャを構築

大域的モデル

AI

Neuro computing


理論研究の必要性 (AGIの面から)

AGI

Narrow AI 固有事前知識

(SPK)

データ

知識表現ルールとか

学習 (machine learning)

固有事前知識学習 (SPL)

一般事前知識 (GPK)

実行



多側面から制約を考慮することで，妥当な仮説の範囲を限定

AI ,機械学習，神経科学，認知科学，ロボット工学，進化生物学などを結びつけた理論研究が有効になると考えられる．


Bengioによる一般事前知識(GPK)のリスト

Smoothness Multiple explanatory factors A hierarchical organization of explanatory factors Semi-supervised learning Shared factors across tasks Manifolds Natural clustering Temporal and spatial coherence Sparsity Simplicity of Factor Dependencies

Yoshua Bengio, Deep Learning of Representations: Looking Forward, Statistical Language and Speech Processing, Lecture Notes in Computer Science Volume 7978, 2013, pp 1-37 http://link.springer.com/chapter/10.1007%2F978-3-642-39593-2_1#

[Bengio 2013] http://arxiv.org/abs/1305.0445


http://link.springer.com/chapter/10.1007/978-3-642-39593-2_1

http://arxiv.org/abs/1305.0445


事前知識を関係付ける理論研究(JSAI2014,山川)

41

スパース表現

記号前概念

固定性条件

集合表現条件

特定性条件 (クラスタ性)

カラム構造

階層構造

⑥ダミー変数化

高等哺乳類の視聴覚野固有

条件事前知識

記号に接地しうる概念の条件から，一般的な事前知識の役割を関係づける試み

神経表現の基盤

①

②

③

④自由度が高く，局所低次元

⑤集合の要素

⑦有限集合化

⑨均質な処理 ⑧不変性



脳器官への対応付けの検討 (JSAI2014,山川)


低次視覚野

高次視覚野

前頭葉海馬

特定化条件 ○ ○ ○ ○

集合表現条件 ○ ○ △ ×

固定化条件 × ○ ○ ○

意識化 × ○ ○ ○

記号化 × ○ △ ×

ワーキングメモリ／エピソード

記憶

• 意識化可能：単純にラベルづけはできないが，意識的に語ることができる

• 記号化可能：単純にラベル付けできる


本日の話題





なぜ今，WBAなのか ① 脳器官の機械学習として開発 ② 上記を統合したアーキを構築



まとめ： WBA推進に向け考えるべきこと(案) 共同のための統合プラットフォーム複数の研究チームによる，各脳器官のモデルを統合する仕組み

Deep Learning＋意志決定，時系列データなどへの発展， BESOM活用，SPLとしての精緻化他の脳器官との機能的統合

理論研究アーキテクチャ論表現獲得と事前知識 (階層性，不変性，スパース性など) AI基本問題(フレーム問題，記号接地問題)

神経科学知見の効果的な活用理論やアーキテクチャ設計のガイドに膨大な神経科学知見を利用する方法

共通目標の設定(WBAロードマップの作成) 10年後は，Seed AI (自己再帰的に発展するAIの種)である３～５年後に実現する，技術的アウトプットは何か


WBA実現にむけ皆で議論したい


人間レベル汎用人工知能

WBA実現へのキーは仮説の生成と多面的検証

45

仮説検証２神経科学知見等から見て，大局的には否定されない．

仮説生成神経科学・認知科学・

AIの知見をヒントに研究者が考え，洗練．

仮説検証１計算機により具体的

に実装できる．

積み重なりつつある神経科学等の知見

ビッグデータ時代だからこそ逆に頭脳勝負に勝機

脳はガイド：手が届きさえすれば，必ずしも生物学的な真実との一致性は追求しない．

WBAの実現には学際的な知の結集が必要


全脳アーキテクチャ勉強会第４回（山川）

Engineering

Transcript of 全脳アーキテクチャ勉強会第４回（山川）

全脳アーキテクチャ勉強会 第４回（山川）

Engineering

Transcript of 全脳アーキテクチャ勉強会 第４回（山川）

全脳アーキテクチャ勉強会第４回（山川）

Transcript of 全脳アーキテクチャ勉強会第４回（山川）