Sorry, this page is only in Japanese.


これは、文部省重点領域研究「脳の高次機能の計算論的および実験的研究」成果報告書を兼ねて出版された「脳とニューラルネット」（甘利俊一・酒田英夫編、朝倉書店）に掲載した解説論文で、私の1994年までに得られた研究成果の一部をなるべく易しく述べたものですなお、この論文を無断で転載したり配布したりしないで下さい。

連想記憶の神経回路モデル

1. はじめに

　連想記憶とは，情報をパターンとして分散的に表現した上で貯蔵し，部分的な情報を手がかり(キー)として必要な情報を読み出す方式のことである．ここでは，いくつかの空間的パターンを重ね合わせて記銘し，あるパターンの一部を与えることによって，そのパターン全体が想起されるという形の連想記憶を主に扱う．
　このような記憶は，脳でも用いられている考えられる．脳の記憶方式の一部を取り出してモデル化したものが連想記憶だと言った方がよいかもしれない．歴史的にも，1960年代後半に提示された最初の連想記憶モデル(中野, 1969)は，既に神経回路網の形をしていた．すなわち，記憶事項は細胞の興奮パターンによって表現され，細胞間の結合強度が変化することによって回路網に記銘される．このように，連想記憶は，まず第一に脳の記憶のモデルとして研究されてきた．
　一方，連想記憶は，並列・分散型記憶装置が実現できる，一部分が壊れても全体にはほとんど影響がないなど，工学的な意義ももつ．こうした観点から，モデルの解析や改良が進められてきた．また近年になって，多数の物理学者が，スピングラスという物理系との類似性から興味をもち，種々の理論的解析を行っている(Amitら, 1985)．
　残念ながら，これらの研究は，実験家から見て脳の記憶機構の解明とどう結びつくのか理解し難いし，実験に直接役立った例も少ない．しかし，連想記憶モデルの一般的な性質は，記憶のメカニズムを実験的に調べていく上でも参考になるに違いない．そこで本章では，連想記憶に関する研究成果のうち，脳との関連において重要と思われるものについて解説する．
　ところで，以下には「力学系」という言葉が頻繁に出てくる．これは，「その時点での外部からの入力に対応して単純に出力が決まるのではなく，多数の構成要素(細胞)間の相互作用によって内部状態や出力が時間的に変化していくような系」といった意味で使われている．脳の高次中枢，特に記憶系は，力学系としての性格を強く備え，その性質を知ることは記憶のメカニズムの解明に不可欠である．
　なお，混乱を避けるために，本章では現実の脳の神経細胞のことを「ニューロン」，工学的な神経回路モデルの構成要素を「細胞」と呼んで便宜的に使い分けることにする．

2. 連想記憶の原理と力学

　ここでは，最も単純な連想記憶モデルを扱う．その他の多くのモデルも，基本的には同じ原理に基づいており，力学的性質にも共通する部分が多い．

2.1 力学系のアトラクタ

　n個の細胞が相互に結合した神経回路網を考える．各細胞は，時刻 t=1,2,…において，他の細胞からの入力に応じて1または-1を出力する．具体的には，i番目の細胞の出力 xiは次式に従って決まる．

式(1)

ここで，wijは j番目の細胞から i番目の細胞へのシナプスの結合荷重を表す定数，sgn (u) は u>0 のとき1，u<0 のとき-1をとる関数である．
　この回路網は，一つの力学系して捉えることができる．すなわち，この系の状態(＝出力パターン)をベクトルX=(x1,…,xn)によって表すと，初期状態X0が指定されたとき，Xは時間とともにX0→ X1→X2→…のように移り変わる．各状態を空間中の点で表し，Xの変化の道筋を矢印で示したものを状態遷移図と言う(図1)．

図1

図１　力学系の状態遷移図

　ここで，もしXt+1がXtに等しいと，Xはいつまでも同じところ(平衡点)にとどまることになる．特に，ある平衡点Sの周辺の状態を初期状態として与えたとき，XがSに達するならば，Sのことをアトラクタと言う．また，最終的にアトラクタSに達する状態の集合をSの引込み域と呼ぶ．
　ある適当な初期状態を与えたとき，Xが時間とともにアトラクタSに近づいていき，X=Sに達したところで平衡状態になったとしよう．初期状態をキーパターンと見なすと，この過程はSという出力パターンを想起するものだと考えることができる．つまり，記憶したいパターンを力学系のアトラクタにすることによって連想記憶を実現できるわけである．

2.2 自己相関モデル

　では，どのようにすれば，目的のところにアトラクタを作ることができるのだろうか．最も簡単なのは，記憶パターンをS1,S2,…,Smとしたとき，細胞間の結合荷重を

式(2)

とする方法である(siμはS μの第i成分)．
　このとき，結合の対称性(wij=wjiが成り立つこと)から，系の「エネルギー」

式(3)

を考えることができ，系の状態は必ずエネルギーが減る方向に変化する(Hopfield, 1982)．記憶するパターン同士が十分に離れているならば，状態X=Sμにおいてエネルギーが極小となるが，これはSμがアトラクタであることを意味する(図2)．以上が自己相関モデルと呼ばれる連想記憶モデルの原理である．

2.3 力学的性質

　自己相関モデルに関して，数値実験や数学的解析を通じ以下のような性質が知られている．但し，これらの性質の一部は，記憶パターンの選び方，すなわち情報表現にも依存する(3.参照)．ここでは，m個の記憶パターンは可能な全出力パターン(2n個)の中からランダムに選ばれるものとしている．
　(1) 記憶容量　1ビットの誤りもなく正確に記憶できるパターン数の上限は，およそn/(2log n)である(McElieceら, 1987)．従って，n→∞のとき，1細胞当りの記憶容量は0となる．しかし，想起の際にわずかな誤差を許容するならば，約0.15n個まで記憶できる(Hopfield, 1982；AmariとMaginu, 1988)．情報量で言うと約0.15n2ビットである．一般に，神経回路網に蓄えられる情報量の上限は，ほぼシナプスの総数に比例する．
　(2) 想起能力　どれだけ異なったキーパターンから記憶パターンを読み出せるかが，想起能力を表す一つの客観的な目安となる．すなわち，アトラクタが強い(引込み域が大きい)ほど，想起能力が高いと言える．想起能力は，記憶パターン数の増加と共に低下していく．
　(3) アトラクタの分布　理想的には，記憶パターンだけがアトラクタになることが望ましいが，実際には記憶パターンから離れたところにも多数のアトラクタができてしまう(Gardner, 1986)．これらは，記憶したパターンと同じように見えるので，偽の記憶と呼ばれる．偽の記憶は記憶パターンと記憶パターンの中間に多く分布し，アトラクタとしては概して弱いが，その数はnの指数オーダーである．従って，系のサイズが大きくなると，記憶パターンに比べて偽の記憶の方が圧倒的に多数となる．
　(4) 想起過程　キーパターンX0からある記憶パターンSを想起する過程は，かなり複雑である．系の状態Xは，時間と共にまっすぐSに近づいていくのではなく，他の記憶パターンにも引っ張られ，回り込むような軌道を描いてSに達する(森田ら, 1990)(図5参照)．正しい想起に失敗してしまうときも，Xは一旦Sのかなり近くまで来て，それから遠ざかってしまう場合が多い(AmariとMaginu, 1988)．
　(5) 状態遷移図　図2からわかるように，この系はどんな初期状態から出発しても，必ず記憶パターンか偽の記憶のどちらかを想起する．また，nおよびmが十分大きいとき，状態空間のほとんどが偽の記憶の引込み域に属する．従って，全くでたらめにキーパターンを与えたとき，記憶したパターンが想起される確率は限りなく0に近い．

図2

図２　神経回路網の状態変化とエネルギー

　最後に述べた性質から，「規模の大きな連想記憶システム(おおまかに言ってmが数百以上)では，ある記憶パターンへのキーが失われると，アトラクタとして記憶に残っていても，そのパターンを想起することは事実上不可能となる」ことがわかる．従って，大規模かつ自律的な記憶システムを構成するためには，システムおよび情報を構造化して，あるサブシステムでの想起結果が他のサブシステムのキーとなるようにする，といったことが必要だと考えられる．しかし，具体的にどのような構造化，モジュール化をすればよいかは，まだわかっていない．

3. 連想記憶と情報表現

　情報(記憶事項)をパターンとして表現することをコーディングと言う．本節では，コーディングの仕方，すなわち情報の表現形式の違いが，連想記憶にどのような影響を与えるかを議論する．こうした議論は，脳における情報表現を考える上でも参考になるであろう．

3.1 パターンの活動度

　各記憶パターン(コード)の要素のうち，1を取るものの個数をkとする．kの全要素数nに対する割合を，パターンの活動度と呼ぶ．活動度の違いによって，コーディングの種類を分けることができる．
　まず，k=1とk>2 とで分類する．前者の場合，必然的に一つの要素はある一つの事項をコードするためだけに用いられることになるから，いわゆる「おばあさん細胞表現」に相当する．これに対して，後者は「集団コーディング」に相当する．但し，k>2 であっても，異なるコードの間で1を取る要素に全く重複がない場合は，集団コーディングではなく，おばあさん細胞がk個ずつ冗長にあると考えるべきである．
　集団コーディングには，活動度が非常に小さいパターン(スパースなパターン)のみをコードとして用いる「スパースコーディング(Amari, 1989)」と，そうではない「非スパースコーディング」とがある．しかし，ここではより一般的に，コードとして用いるパターンを特定の活動度のものに制限するかしないかで分類する．スパースコーディングは前者， 2.3で扱ったランダムなコーディングは後者の典型的な例である．では，コードを活動度によって制限することに，どんな意味があるのだろうか．
　活動度に制限を設けない場合，可能なコードの総数は2n個あるが，このうち実際に記憶できるものはごく少数(nのオーダー)である．但し，個々のコードが表現できる情報の量は最大(nビット)である．これに対して，活動度を制限して個々のコードの情報量を減らせば，その分記憶できるパターンの数を増やすことが可能となる．また，想起の際に回路網の活動度(1を出力する細胞の割合)をコントロールし，コードの活動度と一致させることによって，想起能力を高めることができる．
　但し，あまりkが小さすぎると，1を取るごく一部の要素に情報が集中する(その極端な場合がおばあさん細胞表現である)ため，情報の一部から全体を想起するということに意味がなくなってしまう．また，極端にスパースなコーディングは，表現の自由度が少なく，後述のような情報構造の埋め込みが困難である．
　ところで，現実の脳の一部では，スパースコーディングが用いられているということが実験的に示されつつある(5.1参照)．しかし，この場合の活動度は数％であり，記憶容量の点でのメリットはそれほど大きくない(非スパースコーディングの場合の10倍程度)．むしろ，複数の事項を同時に表現できることや，活動度を通して系全体のコントロールができること，物理的なエネルギーの消耗が少なくて済むことなどが重要な意味をもっているように思われる．

3.2 情報構造とコード体系

　集団コーディングでは，一般に記憶容量はコードの総数よりずっと小さい．従って，実際に用いるコードの選び方には自由度があり，記憶事項の間の類似度や関係の深さをコード間の距離によって表すことが可能である．しかしながら，これに関して一つのジレンマがある．非スパースコーディングの場合で考えてみよう．
　2.3で仮定したように，コードとなるパターンがランダムに選ばれるならば，コード同士はほぼ一様に離れる．連想記憶では，記憶パターン間の距離が大きいほど，相互干渉を考えなくて済む．そのため，このようなコードの分布は，式(2)のような簡単な方法で記銘をするには都合よい．

図3

図３　パターンの一部が属性を表すようなコーディングの例

　しかし，例えば記憶事項がいくつかの属性をもっていて，各属性がパターンの一部分で表わされる場合を考えよう(図3)．このように，情報のもつ構造の一部をコードの体系に取り入れることができるのが，パターンによる分散型の情報表現の大きな利点である．しかし，これだとどうしてもコードの分布は偏ったものになり，前述のモデルでは記憶容量や想起能力が大幅に低下してしまう．
　このような場合，別の方法で記銘をすればよいのだが，それは一般に繰り返し学習(記憶パターンを繰り返し入力してはシナプス荷重wijを修正すること)を必要とする．つまり，あるパターンS1を記憶しているとき，それに近い別のパターンS2を記銘しようとすると，それによる干渉を減らすためにS1について学習しなければならない．この際の修正量が大きいと，その影響を除くためにS2ついて再び学習が必要となる．他にも近いものがあれば，記銘の手間はそれだけ増える．しかも，このようにして干渉を減らす方法は，結局のところ相互に離れたコードに変換してから記銘することに相当する．そのため，せっかくコードに情報の構造を反映させても，想起の際にはそれが全く生かされない．
　以上の問題は，伝統的な神経回路モデルの一般的性質から生じるものであり，次節で述べるようなモデルの改良によってほぼ解決される．しかし，これにも限界があって，情報表現があまり複雑になると，ある程度の繰り返し学習は不可欠である．従って，情報を構造化して効率よく記憶しようとする場合，新しい情報は記銘しやすい表現形式を取る系に一時的に記憶し，それから情報の構造を反映したコード体系をもつ系に徐々に移す，といったことが必要となる．

4. 非単調アナログ神経回路モデル

　これまで，主に古典的な自己相関モデルの枠組みの中で，力学的性質や情報表現について議論してきた．しかし，このモデルには，(1)記憶容量が小さい，(2)想起能力があまり高くない，(3)本物と見分けのつかない偽の記憶が多数ある，(4)情報がもつ構造を利用できない，といった深刻な問題がある．これらの問題は，いずれも系の力学的性質と深く関わっており，これを大きく変えない限り解決は困難である．また，力学系の改良は，脳の記憶系の力学との対応の面でも重要である(5.2参照)．
　過去の研究において，前述のモデルの式(2)，すなわちシナプス荷重を改良する方法が様々に提案されてきたが，力学系の基本的性質にはあまり変化がなかった．これに対して，最近になって式(1)，すなわち想起のダイナミクスを改良する方法が簡単かつ有効であることがわかってきた(森田ら, 1990；Morita, 1993)．本節では，その中でも最も重要な改良を施したモデルについて解説する．

4.1 非単調ダイナミクス

　各細胞が，次のような微分方程式に従って動作するモデルを考える．

式(1)

ここで，yiはi番目の細胞の出力，uiは細胞の内部ポテンシャル，τは時定数，f(u)は入出力関係を規定する関数である．
　この形のダイナミクスは古くから用いられてきたが，f(u)は常に図4(a)のような単調非減少の関数であった．このような関数は，入力が増加すれば出力も増加するという点で自然であるとともに，系のエネルギーが常に減少に向かうことを保証する(Hopfield, 1984)ため都合がよい．その反面，系全体の力学的性質は式(1)の場合とほとんど変わらず，連想記憶の能力についても特にメリットはない．
　ところが，最近提案されたモデルでは，f(u)として図4(b)のような非単調関数を用いる．この際，関数f(u)の細かい形はあまり影響がなく，「入力が非常に大きく(小さく)なると出力が減少(増加)に転じる」という特性が最も本質的である．このようなモデルのことを，非単調アナログモデルと呼ぶ．

(a) (b)
(a)　従来のモデル (b)　非単調モデル
図４　アナログ神経回路モデルにおける入出力特性

4.2 情報構造の利用

　非単調アナログモデルは，非常に優れた連想記憶能力を示す．例えば，2.2のモデルに比べて，記憶容量が2倍以上に増加し，想起能力も向上する．また，想起に失敗したときには，いつまでも平衡状態に達しないので，偽の記憶の問題がない．更に，以下のように，伝統的な神経回路モデルにはない重要な性質がある(森田ら, 1992)．
　パターン空間中にコード(記憶パターン)が数個ずつクラスタをなして分布している場合を考えてみよう．このような分布は，例えば図3のようなコーディングによって生じる．図5は，この場合の想起の様子を模式的に示したものである．

図5
図５　記憶パターンがクラスタをなしているときの想起のようす

　適当なキーパターンを与えたとき，系の状態はまず目的のコードが含まれるクラスタの中心部へ向かって動いていく．これは，そのクラスタ内で共通の属性を表す部分の細胞が強い(絶対値が大きい)出力を出すからである．クラスタ内のコードが協調して系の状態を引き寄せると考えてもよい．
　伝統的なモデルでも同じ現象が生じるが，その場合クラスタの中心部には多数の偽の記憶があり，複数のコードが重なったようなパターンが想起されてしまう．しかし，非単調モデルでは，中心部に安定なアトラクタが存在しないため，系の状態はクラスタの中心に達する前に目的のコードへと向かう．これは，共通属性を表現する細胞が非常に強い入力を受け，出力がほとんど0になってしまうからである．そのため，コード間で異なっている属性を表現する細胞の出力が系の動作を決める上で支配的になり，目的のコードが単独で系の状態を引き寄せることが可能となる．
　こうしてコードにある種の構造があると，一様に分布しているときよりも想起能力が高くなる．このように，非単調ダイナミクスによって，情報がもつ構造を活用することが可能となる．

4.3 学習

　非単調アナログモデルでは，簡単な学習則によって，伝統的なモデルよりも優れた学習が実現される．例えば，式(4)を少し変えて

式(1)

という形で外部からの教師信号を入力する．その上で，単純な相関学習を行うと，コードが複雑な構造をしていてもうまく記銘することができる．
　また，教師パターンZ=(zi,…,zn)をゆっくりと連続的に変化させると，系の状態がZの少し後を追従していく．これを数回繰り返すと，その軌跡が線状のアトラクタになり，時間的に変化するパターンの動的な連想記憶が実現できる(森田, 1993)．

5. 側頭葉短期記憶系のモデル

　脳の記憶系における情報表現や力学を，実験によって直接調べるのは非常に難しい．しかし，近年の実験技術の進歩により，これらを間接的に示す興味深いデータが得られつつある．こうした実験的データに対して，理論的な観点からどんなことが言えるのであろうか．本節では，サルの側頭葉で報告されている短期記憶ニューロンを対象に，これまでに述べたような理論的検討を加え，それを基に構成した神経回路モデルを示す．

5.1 側頭葉の短期記憶ニューロン

　サルにフラクタル図形を一瞬提示し，16秒の遅延期間の後，再提示した図形との比較させるという実験において，下部側頭葉(主にTE野)に，遅延期間中興奮し続ける一群のニューロンが見つかっている(宮下, 1988；Miyashita, 1988)．実験結果の一部を筆者の解釈に従ってまとめると次のようになる．
　(1) 過去に何度も学習し，見慣れている図形を提示した場合，一つのニューロンは，ごく少数の図形(100枚のうち2，3枚)に対してだけ強く反応する．その他大多数の図形に対しては，もっと弱い反応を示すか，ほとんど反応を示さない．
　(2) ある図形に反応したニューロンは，全く似ていない別の図形にも反応する．強い反応を引き起こす図形の間に，特に共通する特徴は見当らない．反応の再現性は高く，回転や拡大・縮小などの変換を施した図形を提示しても，ほとんど同じ反応を示す．
　(3) 以前に見たことのない新奇な図形を提示したとき，強い反応を示すことはほとんどない．しかし，比較的多数の図形に対して弱く反応する．反応の再現性や安定性は低い．
　さて，これらのニューロンは，互いに結合し合って一つの力学系を構成しており，その相互作用によって短期記憶(どのような図形を提示されたかについて16秒間覚えている情報)を保持しているものと考えられる．このような観点から上述の実験結果を解釈し直すと，次のようになる．
　まず，見慣れた図形を提示したときにTE野に現れるのは，全体のごく一部のニューロンだけが強く興奮している，スパースなパターンである．但し，二値パターンではなく，中間的な値をとる要素もかなり含んでいる．再現性が高く，図形の多少の変形にも影響されないことから，このパターンは力学系の強いアトラクタになっていると考えられる．このようなアトラクタは，少なくとも図形の数だけ存在する(図6の×印)．また，互いに似ている図形も，相互に離れたアトラクタにコードされる(なお最近の実験(SakaiとMiyashita, 1991)によると，サルが関係づけて記憶している図形同士は近くにコードされるらしい)．
　一方，新奇な図形を提示すると，見慣れた図形の場合よりやや多数のニューロンが弱く興奮しているパターンが現れる．このパターンも図形によって異なるが，同じ図形を見せても同じパターンが現れるとは限らないことなどから，力学系の弱いアトラクタになっていると考えられる．このようなアトラクタはあらかじめ多数用意されていて(図6の・印)，初めて見る図形はそのうちの一つにコードされることによって，しばらくの間系の状態が保たれるものと推測される．

図6

図６　短期記憶を保持する力学系におけるアトラクタの分布

5.2 モデルの構成

　上記のような力学的性質には，伝統的な神経回路モデルではうまく説明できない部分がある．それは，同じニューロンが持続的に興奮するときの強さが様々であることや，見慣れた図形と新奇な図形とでニューロンの興奮強度の分布が異なるという点である．
　これらは，非単調アナログモデルならば説明可能である．しかし，現実のニューロンに図4(a)のような出力特性を仮定することは無理がある．また，4.1のモデルでは細胞の出力が正負の値を取るが，正値のみを出力する方が脳のモデルとしては自然であろう．コードがスパースであって，系の活動度をコントロールする必要があることからも，出力値が0〜1の細胞モデルを用いた方がよい．

図7
図７　モデルの構成

　そこで構成されたのが，図7に示すモデル(森田, 1991)である．図の破線で囲まれた部分が構成単位(ユニット)であり，出力細胞Ci+と，それに強い抑制を加える細胞Ci-の二つからなる．ユニット間には相互結合があり，Ci+とCi-は，それぞれ荷重wij+とwij-のシナプスを介して他のユニットから入力を受ける．また，Ci+は，系の外部からも入力ziを受ける．各細胞の動作を式で表すと

式(1)

となる．ここで，xiとyiはそれぞれCi+とCi-の出力，θとwIは正の定数である．また，式(7)と(9)の関数f(u)は，u→±∞で0および1を取る単調増加関数である．
　wij+とwij-の間に比較的強い相関関係(一方が大きければ他方も大きい)があれば，パラメータを適当に選んだとき，Ci+が他のユニットから受ける入力の合計viとその出力xiとの関係は図8に示すようなものになる．つまり，viがある程度大きくなると，Ci-の出力yiが増えてCi+を強く抑制するため，viの増加に対してxiが減少するようになる．このように，個々の細胞は単調な入出力特性をもつが，ユニット単位で見ると非単調な特性を示す．

図8
図８　ユニットの入出力特性

5.3 モデルの挙動と考察

　このモデルに連想記憶の動作をさせてみよう．記憶するパターンは，1000個の要素のうち100個だけが1をとる比較的スパースなものとし，400個を記銘する．そうした上で，外部から適当なパターンZを入力したときの各ユニットの反応を調べると，次のようになる．
　まず，ある記憶パターン(Sとする)に近いパターンを入力したとき，系の状態は比較的短時間で平衡状態に達し，入力を断ち切ってもその状態を保ち続ける．このとき，ユニットの出力値xiは，図9(a)のような分布を示す．この図で，灰色の部分はSをコードする(si=1である)ユニット100個を表すが，これらは他に比べて比較的大きな反応を示す．しかし，0.3前後の中間的な値を出力するものもかなりある．このような分布は，見慣れた図形を見せたときのTE野のニューロンの反応とよく一致する．
　この平衡状態は，系の強いアトラクタになっており，少々の外乱を加えても元の状態に戻るし，入力パターンがSと相当違っていても同じ状態に達する．もちろん，こうしたアトラクタは，記憶したパターンの数だけ存在する．
　一方，どの記憶パターンとも全く異なるパターンを入力すると，ある時間の後にほぼ平衡状態に達するが，完全には静止せず，ユニットの出力はいつまでもゆっくりと変化し続ける．また，ほんのわずか違うパターンを与えるだけで，かなり離れたところにある別の状態に達する．つまり，反応の再現性があまり高くない．数回の反応の平均をとると，図9(b)のように，出力が小さいユニットほど数が多くなる．これらの性質は，新奇な図形を提示したときのTE野ニューロンの振舞いと符合する．

(a) (b)
(a) (b)
図９　ユニットの出力値の分布
(a)　記憶パターンを入力した場合,　(b)　ランダムなパターンを入力した場合

　ところで，我々は一度に複数(7つ前後)の事項を短期記憶として保持できる．サルにもある程度その能力があって，複数の図形を同時に提示して，それらを覚えさせることが可能である．では，そのときTE野の力学系はどのような状態にあるのだろうか．このモデルは，この問題に関して興味深い示唆を与える．
　図10は，二つの記憶パターンS1とS2を同時に入力した後，平衡状態に達したときのユニットの反応の分布である．図の黒い部分は両方のパターンをコードするユニット(10個)を表すが，これらは一般に，どちらか一方をコードするもの(190個，灰色の部分)に比べて出力が小さい．これは，他のユニットから受ける入力が強すぎるため，図8のような特性により出力が小さくなるからである．図10の状態は，比較的強いアトラクタになっているが，S1やS2をコードする状態へは容易に遷移させることができる．従って，この状態でS1とS2の情報が同時に保持されていると言える．

図10

図１０　二つの記憶パターンを重ねて入力したときの出力値の分布

　この結果をサルでの実験に対応させるならば，二つの異なる図形(見慣れたもの)に強く反応するニューロンは，両方を同時に提示したとき，弱い反応しか示さないことになる．これは，前述の実験データだけをもとにして導き出した予言であるが，その後の実験によれば，TE野のニューロンは実際にそのような振舞いを示すと言う．
　このモデルは，その他にも興味深い現象を示す．例えば，外部から入力するパターンが記憶したパターンのいずれとも大きく異なっていると，いくら強く入力しても，それを受けたユニットの出力はあまり大きくならない．逆に，記憶パターンに近いと，わずかな入力が増幅されて大きな反応を引き起こす．
　また，4.3で述べた学習則をこのモデルに適用しようとすると，xiがある値を超えたとき，wij-をxjに応じて変化させなければならない(wij+はHebb則でよい)．これを一般化すれば，フィードフォワード型の抑制回路において，「抑制性ニューロンへの入力シナプスは，抑制を受けるニューロンがある程度強く興奮したとき，入力信号の大きさに応じて強化される」という一つの仮説が導かれる．その検証も含めて，こうしたモデルに関する研究が，実験と理論の両面において進むことが期待される．

文　　　献

  1. 中野　馨：アソシアトロンとその応用――連想記憶装置に関する研究， 電子通信学会インホメーション理論研究会資料， IT 69-27 (1969).
  2. Amit, D.J., Gutfreund, H. and Sompolinsky, H.： Spin-glass models of neural networks, Phys. Rev., A32, 1007-1018 (1985).
  3. Hopfield, J.J.： Neural networks and physical systems with emergent collective computational abilities, Proc. Natl. Acad. Sci. USA, 79, 2554-2558 (1982).
  4. McEliece, R.J., Posner, E.C., Rodemich, E.R. and Venkatesh, S.S.： The capacity of the Hopfield associative memory, IEEE Trans. Inform. Theory, IT-33, 461-482 (1987).
  5. Amari, S. and Maginu, K.： Statistical neurodynamics of associative memory, Neural Networks, 1, 63-73 (1988).
  6. Gardner, E.： Structure of metastable states in the Hopfield model, J. Phys., A19, L1047-L1052 (1986).
  7. 森田昌彦，吉澤修治，中野　馨： 自己相関連想記憶の想起過程とその改良, 電子情報通信学会論文誌(D-II), J73-D-II, 232-242 (1990).
  8. Amari, S.： Characteristics of sparsely encoded associative memory, Neural Networks, 2, 451-457 (1989).
  9. Morita, M.： Associative memory with nonmonotone dynamics, Neural Networks, 6, 115-126 (1993).
  10. Hopfield, J.J.： Neurons with graded response have collective computational properties like those of two-state neurons, Proc. Natl. Acad. Sci. USA, 81, 3088-3092 (1984).
  11. 森田昌彦，吉澤修治，中野　馨： 非単調ダイナミクスを用いた構造をもつパターンの連想記憶, 信学論(D-II), J75-D-II, 1884-1891 (1992).
  12. 森田昌彦： 非単調ダイナミクスを用いた時系列パターンの学習, 日本神経回路学会誌, 1, 69-74 (1994)
  13. 宮下保司： 視覚再認記憶のニューロン機構, 神経進歩, 32, 553-565 (1988).
  14. Miyashita, Y.： Neuronal correlate of visual associative long-term memory in the primate temporal cortex, Nature, 335, 817-820 (1988).
  15. Sakai, K. and Miyashita, Y.： Neural organization for the long-term memory of paired association, Nature, 354, 152-155 (1991).
  16. 森田昌彦： 側頭葉短期記憶力学系の神経回路モデル, 電子情報通信学会論文誌(D-II), J74-D-II, 54-63 (1991).

森田のページに戻る