時系列データの長期保持・高精度予測を可能とするレザバーモデルとそのハードウェアに関する研究
鈴木 駿也
2020 年度 卒 ／修士（情報科学）
修士論文の概要
ここ数十年間のインターネットの発展により、様々なデータを大量に得られる時代になった。さらに、IoT(Internet of Things)構想が広まり、より多くのデータが得られるようになることが期待されている。それに伴い、それらデータの収集・処理・運用の仕方は、研究・ビジネス等において非常に重要な要素となっている。そのようなトレンドによって、近年ではディープラーニングに代表されるようなニューラルネットワークが注目を集めている。いわゆる、人工知能(AI)と呼ばれるこのような技術のほとんどは膨大な行列演算により成っているため、 AIの発展には、それらを処理するハードウェアの性能向上が必要不可欠であり、集積技術の発展に依存してきた。しかし、現在の集積技術は原子数個を扱う段階にまできており、さらなる微細化が徐々に難しくなってきている。また、IoTの発達に伴い、通信量の削減やリアルタイム処理、個人情報の保護などの考えから得られた情報をなるべく端末側で処理するエッジデバイスも注目を集めている。このような背景から、低消費電力でありながら高精度なAI計算が行えるAI専用ハードウェアの研究が盛んに行われている。
そこで、本研究で注目したものは物理レザバー計算である。物理レザバー計算とは、レザバーコンピューティングと呼ばれる機械学習の手法を物理系の特性などを利用して計算することである。レザバーコンピューティングは、ネットワーク内にループ構造を持つことにより時系列のデータを扱うことができる再帰的ニューラルネットワークの一種である。しかし、通常の再帰的ニューラルネットワークと異なり、入力重み、および中間層のフィードバック重みに相当する重みを最初に乱数などで決定し、学習によってその値は更新せず、出力重みのみが学習によって修正される。そこで、レザバー(中間層、または中間層と入力重み)は最初に物理系を用いてハードウェア的に実装することが可能であり、様々な物理系を用いた効率的な専用ハードウェアの研究やセンサなどの既存のシステムに組み込むことでリソースの削減、省エネルギーの達成を目指す研究が盛んに行われている。
本研究では、物理レザバー計算のためのレザバーを電子回路で検討し、実際に作成して動作・評価を行った。まず、抵抗とコンデンサからなるRC回路がレザバーのノードとしての条件を満たしていることを説明し、RC回路のみをただ並列に並べただけの回路であってもレザバーコンピューティングの計算が行えることを示した。続けて、環状のネットワーク構造と非線形回路、ホールド回路を組み込むことで性能が向上することを示した。最後に検討した回路の物理実装を行い、実装したレザバー基板を同研究室の南川氏がFPGAで作成したレザバーコンピューティング専用の学習機と連結、動作させてリアルタイムにレザバーコンピューティングの計算ができることを確認した。また、その結果としてソフトウェア的に実装したレザバーコンピューティングよりも良い精度が得られた。
これにより、低消費電力で高精度なAI専用ハードウェア実現の足がかりとしてソフトウェア的に実装されたレザバーコンピューティングと同程度の性能でリアルタイムに動作する電子回路によるレザバーの実装例を示すに至った。