ハードウェアに適した決定木アンサンブルに関する研究
池田 泰我
2020 年度 卒 ／修士（情報科学）
修士論文の概要
近年、機械学習の発展、普及により我々の生活にとってより身近なものとして認識されてきている。様々な用途で広く使われる深層学習が大量の学習データと計算時間を要するのに対し、アンサンブル学習という機械学習が必要な学習データの少なさやモデル構造の高い可読性などの観点で注目を集めている。アンサンブル学習では、学習器を多数用意して総意を決めるので、モデル全体としては計算時間が長くなってしまうという問題が生じる。よって、本研究では決定木アンサンブルと呼ばれる機械学習モデルの予測時の計算をハードウェアで高速化することを試みる。その際、機械学習のアルゴリズム上の最適化とハードウェア実装時の計算効率の向上という両方の観点を持ち、双方の特徴を考慮した協調設計をすることで最適な計算方法を探索する。
始めに、決定木アンサンブルの推論計算を高速化するためのモデル圧縮技術をハードウェアで実装する時に圧縮効果を最大限発揮するためのアーキテクチャを考察し、ハードウェア効率を評価する。このように機械学習の計算最適化アルゴリズムを実用化するためには、そのアルゴリズムに合わせたハードウェアアクセラレータを実装することが必要である。
続いて、逆のアプローチとしてハードウェアの特性を考えた計算最適化アルゴリズムの提案を行う。決定木の推論の計算は、学習によって導出されたしきい値と入力データの内の指定された特徴量を用いた比較演算、およびその比較結果を元にした条件分岐命令で構成される。この推論を高速化するために、一般的には決定木のモデル圧縮手法として枝刈りが行われるが、モデルを小さくしすぎると精度が大きく劣化してしまうという問題がある。そこで本研究では、精度を落とさずに評価時のノード数を削減する新たな計算アルゴリズムとして、確率的決定木アンサンブル手法を提案する。このように、一般的な機械学習のハードウェアアクセラレータに関する研究において、計算アルゴリズムとハードウェア実装の両方の特性を考慮した協調設計をすることで最適な計算システムを構築することができることを示す。