確率的コンピューティングに基づくエッジAI集積アーキテクチャに関する研究
佐々木 義明
2021 年度 卒 ／修士（情報科学）
修士論文の概要
本研究は、人工知能の発展やその社会的浸透によって注目されつつある先端端末上で様々な演算処理を行うエッジAIの、特に専用の集積回路による先端端末上での学習処理を可能とするエッジAI集積アーキテクチャに関するものである。
近年IoT(Internet of Things)の社会的浸透につれて、AIへの需要はクラウド上のGPUによって全ての演算処理を行うクラウドAIから、スマートフォンやウェアラブルデバイスといった先端端末上でによる推論処理を行うエッジAIへと移り変わりつつある。エッジでは端末上で収集したサイズの大きいデータを処理した上で送信するため、データの送受信による時間的コストや情報量の増加によるトラフィックが低減されつつある。また機密性の高いデータについてもセキュリティ上問題がない形式に処理した上で送受信することが可能である。更に、先端端末上で推論処理だけではなくAIによる学習処理を行うことで学習によるモデル変更への即応性の高い新たなエッジAIへの需要が高まりつつある。しかしながら機械学習を行うためには多量の積和演算を行う必要があり、消費電力や回路面積といった物理的な制約によって先端端末ではGPUによる演算処理は難しく、先端端末上での学習処理を行うためには学習専用の小面積かつ低消費電力の集積回路を作成する必要がある。本研究ではこの演算コストの低いAI集積回路への需要に対し、確率的コンピューティングの活用を提案する。
確率的コンピューティングは1960年代に提唱された、パルス列によって表現された確率を演算に利用することで演算の精度と引き換えに大幅な回路面積の低減を可能とする演算手法である。確率の性質により演算精度が低下することが原因で長い間日の目を見ることがなかったが、近年画像処理やディープラーニングといった演算結果にある程度の誤差を許すような様々なアプリケーションで応用可能性が示されつつある。それらのアプリケーションと同様にエッジAI集積回路においても演算結果の誤差は許容されるため確率的コンピューティングによる演算回路をエッジAI集積回路に導入することでAIとしての性能を落とすことなく回路面積を向上することが望める。一方確率的コンピューティングでは機械学習で必須となる加減算や非線形演算を小面積で実現することは困難であり、先行研究ではある程度面積効率は向上したものの演算時間が大幅に増加してしまい結果として消費電力を抑えることは難しいとされていた。
そのため本研究では機械学習で必須となるが確率的コンピューティングでは難しいとされていた非線形演算、加算、そして減算について、それぞれ新たな手法の提案を行うことでエッジAI集積回路専用の演算回路の作成を試みた。
初めに非線形演算について、機械学習では活性化関数と呼ばれるニューロンの発火を模倣した関数が必要となるが、確率的コンピューティングではほとんど利用されてこなかったORゲートによる非線形演算を活用することにより小面積かつ時間効率の高い活性化関数を実現する。続いて加減算について、活性化関数への入力を前提とすることで面積効率の高い演算回路の提案を行う。加算では確率的コンピューティングでは用いられることのなかったORゲートによる不完全加算を総和演算に導入し、減算では神経回路におけるシナプスの興奮と抑制を模倣することであるパルスを他のパルスで打ち消すようなANDゲートとインバータによる演算を導入する。
またこれらの手法を導入した上で機械学習を行うため逆方向演算についても手を加える。逆方向演算では現在の学習結果とその期待値の誤差によって表される誤差関数を微分することでネットワークのパラメータの更新を行うが、演算効率の向上のためには複雑な微分演算を確率的コンピューティングの表現で並列に行う必要があるため、演算の各要素について確率的コンピューティングで表現可能な演算へと再解釈を行う。
これらの手法を導入した多層パーセプトロンについて精度評価及び電力評価を行い、確率的コンピューティングを導入したエッジAI集積回路が推論精度を低下させることなく電力効率を向上させる学習機能を持つ新たなエッジAI集積回路の選択肢となり得ることを示す。