卒研生へ(完全版)

研究室配属に関して

基本的には研究室HPの卒業研究について森田研の心得を読んでもらえば理解していただけると思います.また、以下に書く文章について山根健に文責があります。




Iiwake

私は,現在,システム情報工学研究科知能機能専攻の学生(M2)であり,研究室において幾つかの大きなテーマのうちの一部を自分の研究と重ねて取り組んでいます.従って,先輩方の過去の研究について全て紹介できるわけではありません.ここでは「分散表現に基づく推論・思考に関する研究」のうち,主に私が行っている「軌道アトラクタモデルによるパターンベース推論」についてなるべく分かりやすく紹介しようと思います.これ以外のテーマについての詳細は,森田昌彦先生のページ研究室メンバーのページを参照してください.




はじめに

アニメや映画の世界では,ロボットや人工的に生み出された知的生命体が活躍し,人間にとって便利な未来を映し出しています.一方で,周りを見渡すとそのような人間のような知能を持ったロボットや人工的生命体は見つけることができませんし,残念ですが現時点で大学の研究室でも見つけることはできません.もちろん,個人的には最近のロボットの動きを初めて見たときは驚きましたが,時間がたつにつれて興味を失っていく感覚もありました.身体的な制御については素晴らしいかもしれませんが,それらの知能について問われれたならば,人間の知能とは異質のものであるしあまり賢くないと答えざるを得ません.

少し工学から離れたところに目を向けると,ネズミやサルは実世界において賢く行動している姿が見られます.これらに共通するのは脳を持っているということであり,脳の中には多数の細胞が詰まっているだけです(正確に言えば血管やその他も詰まってます).人間のような知能の実現のためには,どうやらこの辺に何かあるのではないでしょうか.人間のような複雑で柔軟な推論,思考をするロボットを作るには何が問題でその問題をどの様に解決したらよいのでしょうか.

知能の理解とその実現を目指した研究は,1956年にダートマス会議でジョン・マッカーシーらによってArtificial Intelligence(人工知能,AI)と呼ばれるようになりました.その後,記号操作に基づいて情報処理を行う古典的AIの研究が盛んになり,様々な手法が考案され,一定の成功を収めました.有名な例では,IBMのコンピューター,ディープ・ブルーがチェスの世界チャンピオンのガルリ・カスパロフにチェスで勝ったことでしょうか.しかし同時に,ゲームという限られた世界から抜け出して,様々な状況があり得る実世界で適切な情報処理を行おうロボットを開発しようとすると問題が見えてきました.その大きなもののうち,シンボルグラウンディング(記号接地)問題とフレーム問題が挙げられます.また,これらは密接に関係した問題でもあるようです.

これらの問題から起こる古典的AIの限界を超えるには,元々パターンで表現されている外界の情報をパターンのまま内部で表現し,パターンのまま処理し行動などに結び付けていくパターンベースの情報処理が有効だと考えられます.しかし,このようなシンボル(記号)を用いずに情報を処理していく推論エンジンは今までにはなかったのです.そこで,我々の研究室のテーマの一つとして「分散表現に基づく推論・思考に関する研究」を行っています.

古典的人工知能に関しての参考になりそうなもの
人工知能学会のHPより人工知能のやさしい説明
星野力さんのロボットにつけるクスリ―誤解だらけのコンピュータサイエンス




軌道アトラクタモデルによるパターンベース推論

現在,まだ初歩的な段階ですが,完全な分散表現と神経力学系の自律ダイナミクスを用いて推論を行うシステムの構築を目指して研究を行っています.

キーワード:分散表現,軌道アトラクタ,選択的不感化,神経力学系,常識推論


森田研のポスターより


基礎となっているモデル・原理

ここでは誤解をおそれず,よりイメージしやすいように説明するように努力しています.より詳しい説明は論文を参照してください.

<軌道アトラクタモデル>
簡単に言うと,リカレントニューラルネットの一つであり,非単調な出力特性をもつ素子が互いに全結合した単純な構造をしたものです.素子の一つ一つの発火が何か意味のある情報を表しているわけではなく,全体としての発火パターンが情報を表しています.さらに,簡単な学習によって状態空間に軌道アトラクタを形成することができ,その軌道に沿って連続的に安定して任意のcueパターンからターゲットパターンへ遷移することができます.軌道アトラクタの周辺にはこの軌道に引き込む流れのようなものがつくられるので,それをうまく利用することで今までにない情報処理が可能になります.

<選択的不感化による文脈情報の修飾>
さらにこのモデルに選択的不感化という方法を用いることで様々な情報処理が可能になります.選択的不感化とは,文脈パターンが一部の素子のゲインを0にすることで,どの素子が不感化されているかというゲインのパターンが文脈を表します.このことは,活動パターンを文脈に応じて異なる部分空間に射影することを意味します.異なる部分空間で学習によって形成した軌道アトラクタに沿って状態遷移することで,文脈に応じて一つの初期状態から異なるターゲットパターンへ遷移することができます.

参考文献
Morita, M. (1996a): Memory and learning of sequential patterns by nonmonotone neural networks, Neural Networks, 9, 1477-1489.
森田昌彦,松沢浩平,諸上茂光 (2002): 非単調神経素子の選択的不感化を用いた文脈依存的連想モデル, 電子情報通信学会論文誌(D-II), J85-D-II, 1602-1612.
森田昌彦,村田和彦,諸上茂光,末光厚夫 (2004): 選択的不感化法を適用した層状ニューラルネットの情報統合能力, 電子情報通信学会論文誌(D-II), J87-D-II, 2242-2252.

JAVA環境がある学生はこのデモプログラムで遊んでみると良いでしょう.見ることができない学生は別のデモもありますのでこちらをどうぞ.

軌道アトラクタモデルに選択的不感化を適用することで,大規模かつ任意の有限オートマトンを模擬できます.平たく言うと,記号や局所的表現を用いずに分散表現だけで複雑な情報処理が可能になるということです.これによって,記号操作と同等のことはできますし,分散表現がもたらすそれ以上の能力も期待されます.そこで,このモデルを使って推論を行うことを考えます.

推論方法

pic_h00
図1:推論過程の模式図

今,モデルに,文脈C1で初期状態としてS1を与えたとき,図1のように状態がS2を経由してT1へ遷移したとします.このとき,例えばS1が「スズメ」を表し,S2が「鳥類」を,T1が「飛ぶ」を表しているとするならば,これはモデルが「スズメは鳥類であるから飛ぶ」と推論したとみなすことができます.そうすると,この文脈C1は『飛ぶか』について問うている文脈を表すことになり,モデルにcueパターンS1と文脈パターンC1を与えることは,「スズメは飛ぶか」と質問することと解釈できます.注意していただきたいのは,このような言葉を使った表現は説明のためであって,S1S2T1C1は全て情報を分散表現したパターンです.

知識の学習

このような考えに従って,記号を使わずパターンだけで推論を行わせるためには前もって知識を与えておく必要があります.それは,文脈パターンC1(飛ぶか)による修飾を加えた状態でS1(スズメ)からS2(鳥類)へ,さらにS2からT1(飛ぶ)への軌道アトラクタを形成することに相当します.

また,文脈C1においてS3(ウマ)からS4(哺乳類),さらにT2(飛ばない)へ軌道アトラクタを形成すれば,「ウマは哺乳類なので飛ばない」という知識を学習したことになりますし,別の文脈C2(動くか)においてS1からS5(動物)そしてT3(動く)への軌道アトラクタは「スズメは動物なので動く」という知識に対応します.このように,様々な知識を学習しておき,その知識をもとに推論を行います.

パターンの類似性を基にした推論

さて,学習した知識をそのまま推論するだけでは面白くありません.様々な知識を獲得したシステムは,学習した軌道アトラクタに沿って状態を遷移することで演繹的推論を行うだけではなく,強力な汎化能力によって,未学習の問いに対しても尤もらしい結論を導くことが期待されます.つまり,常識推論を行う能力があると考えられます.

pic_h01
図2:cueパターンの類似性に基づく類推

ある部分空間において,学習によって形成した軌道アトラクタの周囲には,軌道に引き込む流れのようなものが作られています.例えば,図2のように状態空間には軌道に引き込む流れが作られているため,S1(スズメ)に似ているcueパターンS1'(ツバメ)が与えられるとこの軌道に引き込まれます.このようなアトラクタへの引き込みをうまく利用することで,未学習の問いに関してもcueパターン間の類似性に基づいて類推することが期待されます.


pic_h02
図3:文脈パターンの類似性に基づく類推

また,情報はcueパターンだけでなく文脈もパターンとして分散表現されているので,文脈方向にも強い汎化能力が生じます.学習した軌道アトラクタは,類似した別の文脈においても影響を与える可能性があるため,それを推論においてうまく利用することで類推ができると考えられます.図3のように,文脈C1'(翼を持つか)においても,S1からS2へ,そしてT1近くへの流れがあります.



数値シミュレーション・考察

計算機シュミレーションによって,素子数2000個(数個から数十個程度ではなく,情報を分散表現できるレベルの素子数)で構成したモデルに様々な知識を学習(各10回程度の少ない学習)させ推論を行わせています.実験の詳しい条件や結果については論文(2006.09.22現在,投稿中)を参照してください.ここでは,これらの実験から分かったことを簡単にまとめます.

参考文献
軌道アトラクタを用いたパターンベース推論(投稿中),山根健・蓮尾高志・末光厚夫・森田昌彦

今後の展開




上記に関する連絡先

山根健:yamane@bcl.esys.tsukuba.ac.jp
(@は半角でお願いします)