ベイジアン深層学習の計算コスト及びハードウェアリソースの削減に関する研究
平山 侑樹
2020 年度 卒 ／修士（情報科学）
修士論文の概要
本研究はベイジアン深層学習のハードウェア、アルゴリズムの観点からの高効率な実現を目的とする。
機械学習の手法の一つである深層学習は、ここ10年の間で飛躍的な発展をとげ、多くの成果を上げてきた。自然言語処理、画像認識などへの応用と、その認識精度向上にむけ、様々な手法が提案され、幅広い用途への利用価値が見出されている。このように広がりを見せる深層学習であるが、これまでモデルの性能は主に認識精度に基づいて評価されてきた。しかし、予測の精度はもちろん、その予測がどれほど確かなものであるのかという点もモデルの性能を評価する上で欠かせない指標である。実アプリケーションでは、入力となるデータの分布は常に一定であるとは限らない。そのような状況下で、モデルが高い信頼性で予測を行うのか、低い信頼性で予測を行うのかという情報は意思決定の段階で重要となる。
ベイジアン深層学習は、重みに確率分布を仮定することで不確実性を捉えた予測分布の計算を可能とする。予測の不確実性を評価できることの利点として、予測の信頼性が低い場合、他のシステムに判断を委ねることが可能となる。しかし、ベイジアン深層学習にはいくつかの課題が存在する。パラメータ数が倍増、複数回の順伝搬演算を必要とするなど、深層学習と比べ非常に計算コストが高い。またハードウェア実装を行う際には、行列演算を行う回路に加え、新たに乱数生成のための回路が必要となる。効率的なアルゴリズムも提案されつつあるが、大規模なモデルへの適用については課題が残る。
これらの課題をいかにして解決するかが本論文の主眼である。本論文は大まかに二つの枠組みから構成される。はじめにベイジアンニューラルネットワークのサンプリングに必要となるハードウェアリソースに着目し、より効率的に重みのサンプリングを行うための手法について説明する。続いて複数回の順伝搬演算を必要としないアルゴリズムを畳み込みニューラルネットワークに拡張することで、従来の手法と比べ、良い不確実性のキャリブレーションを達成し、OODデータに対してロバストでありながら、計算コストを削減した手法を提案する。