選択的不感化ニューラルネット(SDNN)による関数近似とその応用

背景

「関数近似」とは,与えられたデータ(サンプル)から入力と出力の関係を表す関数を推定することを言い,これによって未知の入力に対しても推定される関数値を出力するものを「関数近似器」と言います.パターン分類は関数値が離散的な値をとる一種の関数近似とみなすことができますが,入力が多次元(多変数入力)で出力値が連続的な値をとる関数近似問題は,一般にパターン分類よりも格段に難しくなります.

関数近似はパターン分類と同様に基本的な問題ですが,現在の機械学習技術が苦手なものの一つです. 従来型のニューラルネットの代表とも言える多層パーセプトロン(MLP)は,理論上「万能」(素子数を増やせばどんな複雑な連続関数も表現できる)ですが,実際には簡単な関数でないと学習ができません.その他の関数近似器も,入力次元が増加すると計算コストが指数的に増大する,高い表現能力をもたせると学習に極めて多くのサンプルが必要となる,など多くの欠点を抱えています. また,既存手法の中で最も高性能と思われるサポートベクトル回帰(SVR)をはじめ,ほとんどの関数近似器は関数の連続性を仮定している(連続関数しか近似できない)のに対し,現実の問題では,ところどころ不連続な部分が含まれる場合がよくあります.

一方,人間をはじめとする動物は,優れた多変数関数近似能力を備えています. 例えば,骨董屋が壺の鑑定をするとき,初めて見るものであっても,限られた経験に基づいて,多次元の入力情報(大きさ,形,色合い,手触り,叩いた音など)から出力値(価値)を推定することができます.同様に動物は,極めて高次元の実環境において,経験から報酬の期待値を推定して,もっとも期待値の高い行動を選択すると考えられています.こうした能力は,脳の非言語的知性の源だと思われますが,その仕組みは未解明です.

我々は,脳の優れた情報処理の本質は情報を記号ではなくパターンとして「分散表現」することにあると考えていますが,MLPのような従来型のニューラルネットでは,複数の情報を統合する際に分散表現の利点の一部が殺されてしまうことを発見しました. この問題を解決し,複数の分散表現された情報を(「連結」するのではなく)一つの分散表現に「統合」する手法として考案したのが「選択的不感化」法であり,これを用いた多層ニューラルネットによる関数近似器(パターン分類器)が「選択的不感化ニューラルネット(SDNN)」です.

SDNNの構造と特徴

(工事中)

研究項目

  1. SDNNの解析

  2. 強化学習における価値関数近似への応用

  3. 筋電からの手の動作推定への応用

  • その他

    森田のページへ戻る

    お問い合わせは mor@bcl.esys.tsukuba.ac.jp までどうぞ