ディスクリート半導体素子とFPGAで構成された物理レザバー計算機の評価と性能向上に関する研究
阿部 佑紀
2023 年度 卒 ／修士（情報科学）
修士論文の概要
近年、人工知能(AI)とその関連技術のニーズが高まっている。コンピューターの性能向上とインターネットの浸透により私たちの生活は一変し、現実世界での「活動」は仮想世界の「操作」へ続々と置き換えられている。そのため日常生活から膨大なデータを収集できるようになり、このデータの総称として「ビッグデータ」という言葉が生まれた。ビッグデータは大規模な消費者のニーズ調査や市民の行動分析を可能にするものであり、企業や研究機関の関心を集め、データを処理する過程で活用されるディープラーニングといったAI関連技術のニーズが最高潮に達している。しかし、既存のソフトウェアを主体とした機械学習処理はセントラルプロセッシングユニットやグラフィクスプロセッシングユニットといった汎用演算装置を用いて行うため、電力効率が良好とは言えない。また、演算に伴う負荷の分散やリアルタイム処理を目的とした、エッヂデバイスへの実装もコスト面や回路規模面から困難と言える。
こうした背景から、注目されているキーワードの一つに、レザバーコンピューティングがある。レザバーコンピューティングとは、過去から現在までの入力に応じて次の出力が決まる関数の予測に優れた機械学習モデルである。このモデルはニューラルネットワークの中でも再帰型ニューラルネットワーククラスに分類されるが、従来の再帰型ニューラルネットワークに分類されるモデルとは異なりネットワークの構造は結合重みが固定化された、レザバーと呼ばれるネットワークになっており、出力重みだけが学習されるようになっている。この特徴のため、モデルが学習の過程で必要とする演算リソースを大幅に削減することができ、レザバーコンピューティングはリソース効率の良い機械学習モデルとして知られている。また、この構造故レザバーは過去の入力の影響を保存する物理系に代替できることが知られている。
本研究では電子回路で設計された物理レザバーの性能評価、及びシミュレーションとの比較とそれらの考察を行った。この電子回路レザバーは同研究室の卒業生である鈴木俊也先輩が設計したデバイスであり、学習部であるFORCE学習機は南川滉瑛氏の開発したアーキテクチャである。これら二つのデバイスを連結させて性能評価を行なったところ、短期の予測精度はシミュレーションに迫る結果が得られたが、短期の記憶容量はシミュレーションから大きく減衰していることが確認できた。そこで、性能低下の原因はシミュレーションから実機への変更点にあると考え、学習方法の変更や8bit量子化の有無、熱雑音の有無に注目し原因の調査を行なったほか、電子回路レザバーとFORCE学習機を分離し単体での動作も検証した。この調査の結果、8bit量子化と学習方法の変更が大きな影響を与えていることが判明したほか、電子回路レザバー単体はシミュレーションに近い性能を出せていることが判明した。
よって、電子回路で構成された物理レザバーというコンセプトが立証された一方、学習部は選択の余地があると判明した。この結果を元に、基盤の再設計や学習機側の処理を見直しを検討したい。