二値重みニューラルネットワークの確率的解釈によるベイジアン深層学習の\\軽量実装に関する研究
齋藤 大成
2023 年度 卒 ／修士（情報科学）
修士論文の概要
本研究はベイジアンニューラルネットワークをエッジデバイスへの適用に向けて、ハードウェア指向アルゴリムにより軽量化し、デジタル回路へ実装した後に、ハードウェアとソフトウェアの性能評価を行うものである。
ベイジアンニューラルネットワークは予測の不確実性を推定可能であり、信頼できるAIの一種であるが、一方で、複数回の順伝播が必要であったり、複雑な確率分布を生成するための乱数生成回路が必要であるので、多くの計算量とハードウェアリソースを要するという問題点が存在する。
本研究では二値重みニューラルネットワークの重みをベルヌーイ分布へと確率的に解釈することでベイジアンニューラルネットワークへ拡張し、パラメータを削減可能なアルゴリズムを提案する。そして提案アルゴリズムを、Breinアーキテクチャで使用されているニューラルネットワークの計算機構を基にしてデジタル回路へ効率的に実装することで、ハードウェアリソースと消費電力の削減を行う。
ソフトウェアの性能に関して、画像分類問題の正解率を計測することでほとんど性能を落とさずに推論をすることが可能であることを示した。不確実性の評価の面では、二値分類問題、多値分類問題、回帰問題について学習済みのドメインのデータに対しては小さな分散を、学習していないドメインのデータに対して大きな分散を出力し、また、期待キャリブレーション誤差は許容範囲内に収まったことから、先行研究のベイジアンニューラルネットワーク手法と比較して信頼性のある推論が謙遜なく可能であることを示した。ハードウェアの評価に関して、先行研究のベイジアンニューラルネットワークアクセラレータと比較して、大幅なリソースの削減とエネルギー効率の改善を達成した。
以上より、本研究で提案したベイジアンニューラルネットワークのアルゴリズムとそのアーキテクチャは、先行研究と比較して、よりリソースの限られたエッジデバイスでの実装に適しており、複雑な計算とより多くのハードウェアリソースを要するというベイジアンニューラルネットワークの問題点を解決したと結論づけた。