非単調CDMAニューラルネットを用いた連想記憶イメージセンサ
金澤 雄亮
2003 年度 卒 ／修士（工学）
修士論文の概要
本研究は、連想記憶ニューラルネットをイメージセンサに組込んだ、連想記憶を行うイメージセンサに関するものである。
近年、イメージセンサが得た情報を実時間で処理する技術に対する要求が高まっている。センサが得た情報を後段のプロセッサで逐次的に処理するようなシステムでは、画素数の増加に応じて画像の処理にかかる時間が増加するためである。この問題を解決するために、画素毎に並列処理回路を設けた「ビジョンチップ」が開発されてきた。これまではビジョンチップの開発において、初期視覚機能（ノイズ除去、 輪郭抽出、 動き検出など）を有するビジョンチップの開発が主流であった（高い機能を持たせると、画素回路の面積が増加してチップの集積度が下がるため）。しかし、さほど高い解像度が必要ない場合や、集積度よりも機能が重要である場合は、チップサイズを犠牲にしてビジョンチップに高い機能を持たすことができる。例えば、認知・判断などの高次視覚機能をビジョンチップに搭載できれば、その応用範囲は計り知れない。本研究では、生体が行う高次視覚処理の中で応用上最も有用であると考えられる「連想記憶」の機能を有するイメージセンサの構成法を提案する。
連想記憶とは、与えられた（入力された）情報を手がかりにして、入力情報に最も近い情報を記憶の中から想起する処理である。連想記憶の手段として、最近傍法やニューラルネットを使った方法が挙げられる。最近傍法とは、入力パターンと記憶しているすべてのパターン間の距離を計算し、最も距離の小さいパターンを認識結果とする方法である。この方法は、パターン間の距離を逐次的に計算、 またすべての記憶パターンに対して距離を計算する必要があるため、画素数が増加すると想起に時間がかかる。これに対して、Hopfieldの連想記憶ニューラルネットワークは、ハードウェア化した場合、各ニューロンが並列に想起処理を行うため、想起時間がニューロン数にあまり依存しない。よって、本研究では連想記憶の手段として、Hopfieldネットワークを用いることにする。
Hopfieldネットをビジョンチップに組込むためには、以下の問題を解決する必要がある;
本研究では、「有線CDMA方式」と「高い記憶容量を持つHopfieldネットワーク」を導入することで、上記問題の改善を図る。
- 問題(1)：ネットワークの結合配線部がチップ面の殆どすべてを占有するため、画素回路（＝ニューロン回路）を2次元状に配置することが難しい
- 問題(2)：Hopfieldネットの記憶容量はさほど高くないため（N個のニューロンが記憶できるパターンの数は、0.1 N程度）、応用の範囲が限られる
まず、上記問題(1)の解決法を模索した。Hopfieldネットとイメージセンサを組合せて連想記憶を行うためには、イメージセンサの各々の画素の周辺にニューロンを設けて、光センサとニューロンの対をチップ上に敷き詰めればよい。しかし、Hopfieldネットは各ニューロンが自分以外の全てのニューロンと結合している「相互結合ネットワーク」である。そのため、これを集積回路化すると結合配線が複雑になり、ニューロンをセンサとともに2次元配置することが難しい。そこで、ニューロンの出力を多重化して結合配線の複雑度を下げることを試みる。具体的には、すべてのニューロンに共通な配線（バス）をチップ上に敷く。それぞれのニューロンが自身の出力を変調してバスに出力すると同時に、そのバスから必要なニューロンの出力のみを取り出すようにする。ここでは、回路出力を多重化し配線の複雑度を減らす技術として注目されている「有線CDMA方式」を導入する。
次いで、上記問題(2)についての解決法を探った。Hopfieldネットにおいて、ニューロンの伝達関数に、従来のシグモイド型の関数ではなく非単調関数を用いると、ネットワークの想起能力が向上することが知られている。ネットワークの記憶容量は約3倍（N個のニューロンが記憶できるパターン数は、0.4 N程度）になり、さらに、ネットワークは偽記憶（間違ったパターンの想起）の抑制、 超想起相（ニューロンの入力ノイズが消える完全な記憶想起）の出現等の性質を持つ。この「非単調Hopfieldネット」を用いることで、想起能力の改善を図る。
つまり本研究では、設定した問題(1), (2)を解決するため、非単調Hopfieldネットの出力を有線CDMAにより多重化した「非単調CDMA Hopfieldネットワーク」を提案する。
このネットワークをイメージセイメージセンサに組込むことで、高い記憶想起能力を持つ連想記憶イメージセンサの実現を目指す。センサの画素（ニューロン）回路は、(a) CDMA通信のための変調回路、 (b) 復調回路、 (c) 非単調ニューロン回路、 (d) ニューロン間の結合重みを記憶する回路、 (e) 受光回路からなる。集積度の向上を目指して、回路のほとんどをアナログで構成した [CDMA通信用回路 (a)、 (b) に必要な乱数発生器を除く] 。それぞれの画素回路は共通配線を介して結合している。本研究では、コモンモードノイズをキャンセルするために、回路を差動で構成した。つまり、ニューロン間を結合する共通バスを2本設け、バス間の電位差が情報を表すようにする。これに伴い、画素回路の各要素も差動回路で構成した（受光回路を除く）。
さらに本研究では、提案するイメージセンサの連想記憶シミュレーションを行い、そのパフォーマンスを示す。ここででは、(i) 理想状態での非単調CDMA Hopfieldネットの想起能力、 (ii) 回路中のノイズがある場合の非単調CDMA Hopfieldネットの想起能力、 (iii) CDMA部分の復調エラーがネットワークに与える影響について調べた。シミュレーション(i)から、非単調CDMA Hopfieldネットがシグモイド型の伝達関数を持つCDMA Hopfieldネットに比べて高い記憶容量（N個のニューロンが記憶できるパターン数は、0.3 N程度）を持つことがわかった。またシミュレーション(i)から、回路中の素子特性にばらつきがある場合想起能力が劣化することがわかった。しかし、素子特性のばらつきによるノイズがある場合でも非単調CDMA Hopfieldネットがシグモイド型のCDMA Hopfieldネットに比べて高い記憶容量を持つことがわかった。さらに、シミュレーション(iii)では、非単調CDMA Hopfieldネットにおいて超想起相が出現するかどうかを確かめた。結果から、超想起相の存在は確認できなかった。これは、CDMA部分の復調エラーによるノイズが存在するためである（超想起相はノイズに対して構造不安定である）。超想起相の消失は別にして、非単調CDMA Hopfieldネットが持つ高い想起能力は、連想記憶イメージセンサを開発する上で有用である。
以上をまとめる。 本研究は、連想記憶ニューラルネットをイメージセンサに組込んだ、連想記憶を行うイメージセンサに関するものである。このセンサを実現するためには; (1) ネットワークの結合配線部がチップ面の殆どすべてを占有するため、画素回路を2次元状に配置することが難しい、 (2) Hopfieldネットの記憶容量はさほど高くないため応用の範囲が限られる、という問題があった。それを解決するため、問題(1)に対しては「CDMA方式によるニューロン出力の多重化」、 問題(2)に対しては「非単調Hopfieldネットの導入」を行った。この二つを導入した「非単調CDMA Hopfieldネット」を用いてイメージセンサを構成することを提案した。さらに、これを差動アナログ回路を用いて回路化した。このネットワークの有用性（とくに上記の問題(2)に対する有用性）を示すため、シミュレーションを行った。結果から、非単調CDMA Hopfieldネットは高い記憶容量を持つことがわかり、このネットワークの有用性が示された。