バイナリニューラルネットワークにおける重み分裂学習アルゴリズムと演算システムに関する研究
楠瀬 黎
2025 年度 卒 ／修士（情報科学）
修士論文の概要
本研究では、超軽量AI の実現に向けて、バイナリニューラルネットワークを中心としたアルゴリズム、演算回路、およびモデル構造の観点から検討を行い、バイナリ演算システムを体系的に解析した。
まず、学習アルゴリズムの観点では、量子化による性能劣化の主要因が学習後の重み分布にあることに着目し、重み分布をバイナリ分布へ誘導する重み分裂学習アルゴリズムGD-BWを提案した。さらにスケジューラを導入することで、学習初期の安定性と最終的なバイナリ適合性を両立できることを示した。これにより、バイナリ推論に適した重み分布を学習段階から形成でき、高い推論精度が得られることが明らかとなった。
次に、演算回路の観点では、電圧差型および時間差型のバイナリ積和演算回路について詳細な解析を行い、回路特性が推論精度に与える影響を評価した。特に電圧差型回路においては1000 TOPS/W 以上の高い演算効率が実現可能であることを示し、回路レベルでのBNN の有効性を明らかにした。
さらに、これらのバイナリ演算基盤を動的情報処理へ拡張する試みとして、バイナリリザバーコンピューティングを提案し、クラスター構造および遅延入力の導入により、バイナリ条件下でも実用的な時系列処理能力が得られることを示した。これにより、バイナリ演算回路が単なる推論アクセラレータにとどまらず、動的計算モデルとしても機能する可能性を示した。
以上の結果から、アルゴリズム、回路、およびモデル構造を個別に最適化するのではなく、それらを統合的に設計することが超軽量AI の実現において重要であることが示された。本研究は、そのための基礎的枠組みと設計指針を提示するものである。