ニューラルネットによるパターンベース推論

Iiwake

以下の文章の全ては,山根に文責があります.内容についての質問は,山根までお願いします.




キーワード

分散表現,軌道アトラクタ,選択的不感化,神経力学系,常識推論




はじめに

背景

知能の実現を目指した古典的な人工知能は,情報をシンボルで表しそのシンボルを操作して行うシンボルベースの情報処理でした.しかし,この方法ではシンボルグラウンディング問題とフレーム問題という将来的にも解決不可能な問題があり,限界が明らかになっています.

一方で,パターンベースの情報処理がこの限界を打ち破ると期待されています.その理由は,情報をシンボル化せずにパターンのまま扱うのでシンボルグラウンディング問題は回避できるからです.そして,パターンに基づく類推を行うことである程度までフレーム問題にも対応できると考えられるからです.

このパターンベース情報処理の代表例がニューラルネットですが,現在,うまくいっていません.そして,能力的にも規模的にも古典的人工知能に及んでいない現状があります.その大きな理由の一つに情報表現に局所表現を用いていたことがあげられます.局所表現を用いるなら,本質的に古典的人工知能と同じ問題に直面します.

研究目的

そこで,局所表現を一切排して,ニューラルネットがつくる力学系の自律ダイナミクスにより完全にパターンに基づいて推論を行うシステムの構築を目指しています.以下では,実際に推論システムを構築し,簡単な推論を実行した例を示します.

推論システムの核となるモデル

本推論システムは,非単調ニューラルネットが核になっています.そして,本モデルに選択的不感化という手法を用いています.これによって,本モデルは,局所表現を用いずに大規模で任意の有限オートマトンを模擬することができます.これらについては,参考文献を参照してください.

参考文献
Morita, M. (1996a): Memory and learning of sequential patterns by nonmonotone neural networks, Neural Networks, 9, 1477-1489.
森田昌彦,松沢浩平,諸上茂光 (2002): 非単調神経素子の選択的不感化を用いた文脈依存的連想モデル, 電子情報通信学会論文誌(D-II), J85-D-II, 1602-1612.
森田昌彦,村田和彦,諸上茂光,末光厚夫 (2004): 選択的不感化法を適用した層状ニューラルネットの情報統合能力, 電子情報通信学会論文誌(D-II), J87-D-II, 2242-2252.

推論モデルの簡単な説明

モデルは非単調な出力特性をもつ多数の素子が互いに結合した単純な構造をしています.そして,その素子の相互作用が力学系をつくります.

その力学系の状態空間において,任意のパターン S から T へと連続的に安定して状態を遷移できます.この安定な軌道は簡単な学習によって形成することが可能です.この軌道のことを軌道アトラクタといいます.

これに選択的不感化という手法を用いて文脈情報を修飾することで様々な情報処理が可能になります.選択的不感化手法によって,入力情報と文脈情報など全てをパターンとして分散表現したまま処理を行えます.

以下の説明では,パターンを実際に示す代わりに,素子が構成する力学系の状態空間を用います.そして,この状態空間において形成された軌道(軌道アトラクタ)を矢印で表現しています.また,シリコンウェハのような平面は,不感化を受けていない素子で構成される部分空間を表しています.




モデルの汎化能力

012
図3:二種類の汎化能力

パターンに基づく非常に高い汎化能力が明らかになっています.

これらの結果は,複雑な状態遷移が可能であり,かつ,高い汎化能力による類推も可能であることを意味します.つまり,このモデルを推論に応用することで,古典的人工知能が行う以上の推論能力が期待されます.




推論方法

003
図4:モデルによる推論方法

本モデルを用いて推論を行う方法を提案しています.




推論デモ

013
図5:パターンベース推論のデモ

実際には,見た目に分かりにくいパターン(ランダムなパターン)を用いて実験を行っています.しかし,ここではパターンベース推論の分かりやすいデモを示します.図5のように,全ての情報がパターンとして分散表現され,それを基に推論を行います.




数値実験

006
図8:システムに与えた知識と追加知識

与えた知識は25個+11個の合計36個です.その上で,200個以上の未学習知識について推論を行わせ,その推論結果を調べました.




結果

014
図6:推論結果の一部

この推論における特徴的な点は以下の通りです.

パターンの類似性に基づく類推

常識的な推論と例外の自然かつ単純な方法での両立

暗黙的知識を利用したより高度な推論

知識の追加・修正が安易

まとめ:提案する推論方式は,強大な汎化能力をもち,少ない知識から多くのことを推論することができます.そして,この汎化能力を損なうことなく例外的知識も自然に扱えます.よって,まだ初歩的段階ではあるがパターンベース推論には大きな可能性があると考えられます.

007
図7-a
008
図7-b
009
図7-c




今後の課題

モデルの能力の検証

情報のコード化の改善

多段階的な推論の実現

脳での推論との比較




上記に関する連絡先

山根健:yamane@bcl.esys.tsukuba.ac.jp
(@は半角でお願いします)