逐次最小二乗法に基づくオンライン学習ハードウェアのFPGAアーキテクチャに関する研究
南川 滉瑛
2020 年度 卒 ／修士（情報科学）
修士論文の概要
本研究は、近年の人工知能技術と IoT 技術の進歩により注目されているレザバーコン ピューティングを実現する FPGA アーキテクチャに関するものである。現在、第三次 AI ブームと呼ばれ特に深層学習 (Deep Learning) を利用した画像認識技術や自然言語処 理技術は大きく発展している。一方で時系列処理を必要とするタスクに対して、再帰 的ニューラルネットワークといった時系列処理を得意とするニューラルネットワーク が用いられている。しかしながら一般的な RNN は計算量が多く、勾配消失問題により 多層になるほどバックプロパゲーションが難しくなるっといった不安定な面を抱えて いる。一方で、レザバーコンピューティングは時系列を予測可能な再帰的ニューラル ネットワークの一種で一般的な RNN と比較して計算量が少なく、低電力での学習が期 待される。学習には最小二乗法が用いられ逆行列演算が必要不可欠であるが、リソー ス的にコストが大きい、オンライン学習に向いていないといった面を持っている。そ こで、逐次最小二乗法を用いた FORCE Learning という学習手法を用いることで学習演 算から逆行列演算を排除し、より実用に向いた専用アーキテクチャの構築を試みた。
本研究は 2 つのパートに分かれて進行する。
まず最初に、ソフトウェア演算では成し得ない低消費電力、低リソース、リアルタ イム性を両立するエッジコンピューティング向け専用学習器の開発にあたり、効率の 良いアーキテクチャを求め、実用に近いハードウェアの設計を行った。実装に向けて、 量子化、パイプライン化など様々な検討を行い、最終的に電力、速度、リソース数、精 度の面から評価を行った。また、同じく IoT の分野で多く利用されるミニコンピュー タである Raspberry pi と比較を行い、専用ハードウェアの優位性を示した。さらに、あ らゆるニューロン数に対応可能であるというスケーラビリティの高さを示した。
続くパートでは、最高性能の CPU と GPU をもってしても成し得ない 1 マイクロ秒 オーダーで処理を行う超高速学習器に向けたアーキテクチャの検討を行った。動作周 波数のクロックアップや並列化、アーキテクチャ改善、複数サンプリング法など様々 な手法の有効性について議論した後、検討結果を駆使してアーキテクチャの設計を行 い、シミュレーション上での動作を確認したと共に、将来性について示した。
これらの 2 パートの研究を通し、低消費電力、リアルタイム処理が可能なシングルコア
FORCE Learning Acceleratetr の設計及び高速処理が可能なマルチコア FORCE Learning Acceleratetr の将来性を示すに至った。