深層学習AIを回路・アーキテクチャ・算法視点で最適化する。
廣瀨 一俊
2019 年度 転籍 ／博士課程2年次
平成31年度〜日本学術振興会特別研究員
研究の概要
深層ニューラルネットワーク（DNN）の学習は多くのメモリを使用します。システムで利用可能なメモリ量が学習可能なネットワークの大きさを制限するため、消費メモリ量の削減が必要です。そのためデータ表現形式の最適化による学習時のメモリ量の削減方式を考案しています。学習時に出現する勾配は0付近の値が多いため、数値を対数表現する対数量子化と呼ばれる手法を用いてそれぞれの値を表現するのに必要なビット量を削減します。DNNフレームワークChainerを用いて識別精度およびメモリ量を評価しています（対数量子化適用による認識精度に対する影響、およびメモリ量）。その結果、学習時に対数量子化適用による認識精度の低下は少なく、消費メモリ量は約60%削減できることが明らかになりました。