Behavior-based DNN Compression: Pruning and Facilitation Methods
邦訳：ニューロンの振舞いに基づくニューラルネットワークの圧縮:プルーニング手法およびより効果的な圧縮のための補助的手法
菅間幸司
（和歌山大学システム工学部 特別研究員）
------------------ keyword ------------------
深層学習
高速化
双直交基底
----------------------------------------------
【背景】ディープニューラルネット（DNN）は有用な機械学習モデルであるが，計算コストが高い
【問題】スマホや監視カメラ等のエッジデバイスではDNNを使用しにくい
【貢献】DNNの精度を保ちつつ圧縮できる手法を開発した
ディープニューラルネット（DNN）は，画像を見てそれが何であるかを識別する画像分類や，画像中の人や車の位置を特定する物体検出など，さまざまな分野で使われるようになった．DNNは性能が良いものの，計算コストが高く，大規模な設備がなければリアルタイムで動かすことが難しい．そのため，スマートフォンなどの計算能力が限られたデバイスにおいてDNNを動かすためには，性能を保ちつつ，圧縮することが必要である．
本研究は，DNN内部において，挙動が似たニューロンのペアを探して統合する，という発想からスタートした．入力データに対して，いつも近い値を出力するニューロンのペアが存在するならば，一方を削除し，もう一方の重みを更新して，削除された方の出力を再構成する．これにより，次の層にはほとんど誤差を生じさせることなくニューロン数を減らすことができる．
上記の手法の発展形として，削除されたニューロンの出力を，その他すべてのニューロンの出力から，最小二乗法を用いて再構成する手法を考えた．これにより，再構成後の誤差をより小さくできる．なお，ここでは，最小二乗法を用いるということは連立方程式を解くようなものだという理解で構わない．
問題は，削除するニューロンを選ぶために，膨大な量の計算を要することである．再構成を行うことが前提であるから，再構成後の誤差が最小になるようにニューロンを選ぶべきである．しかし，再構成後の誤差を比較するためには，各ニューロンについて，試しに削除と再構成をしてみる必要がある．これは，ニューロンが10,000個あるならば，9,999個の変数がある連立方程式を10,000回解くようなものである．
そこで，双直交基底というものを用いて再構成後の誤差を高速に計算できるアルゴリズムを開発した．先の例においてこのアルゴリズムを用いると，10,000変数の連立方程式をたった一度解くだけで済むため，ほぼ10,000倍の速さで計算できる．これにより，再構成後の誤差を基準にニューロン選択が行うことが可能になる．
実は，最小二乗法を用いて再構成を行う手法は以前から存在している．しかし，再構成後の誤差を効率的に計算する方法がなかったため，従来手法では再構成 “前” の誤差を基準にニューロン選択を行っていた．一方，本研究の提案手法では，再構成 “後” の誤差を用いることができるため，より適切なニューロン選択が可能である．
実験の一例を紹介する．VGG16という画像分類を行うDNNがある．これを，計算量が元の1/5になるまで圧縮し，ImageNetというデータセットを用いて予測精度を評価したところ，従来手法では，精度が20%以上も低下した．一方，本研究の提案手法を用いると，精度の低下は10%未満に抑えることができた．
また，本研究では，上記の圧縮手法をより効果的に用いるための補助的な手法として，DNNの各層における圧縮率（削除されるニューロンの割合）を最適化する手法や，ResNetという分岐構造を持つタイプのDNNを効率よく圧縮するために，分岐構造を直列化する手法も提案している．
（2021年5月26日受付）
（2021年8月15日note公開）
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
取得年月日：2021年3月
学位種別：博士（工学）
大学：和歌山大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
推薦文：（コンピュータビジョンとイメージメディア研究会）
本論文は，ニューラルネットの圧縮法に関するものである．ある層のニューロンを削除した後，次層への影響を緩和する手法において，（1）削除すべきニューロンを効率良く求める方法，（2）全体への影響を小さくする各層の圧縮率を求める方法，（3）分岐のある場合も効率良く圧縮する方法，が骨子であり，強力な実用的圧縮法である．
菅間幸司
研究生活： 私は，修士課程までは化学系，就職してモータの技術営業，転職してマーケティング，そして情報系の博士課程と，ヘンテコな経歴の持ち主です．博士課程に進学したばかりのころは，周りに追いつかなければと焦りを感じました．ですが，数式をいじってあれこれ考える時間が楽しく，すぐに研究に没頭するようになりました．特に1年目は毎晩遅くまで研究室に残り（以前は残業があんなに嫌いだったのに），家族に心配されてしまったほどです．その努力の甲斐もあり，また先生や後輩たちのサポートもあり，2年目に参加した国際会議では賞をとることができましたし，3年目には博士論文を書き上げることができました．
博士課程進学に対しては，なんとなく二の足を踏んでしまうという方もいると思います．ですが，自分の興味のために時間とエネルギーを好きなだけ使えるというのは，博士課程ならではだと思います．進学を考えている方は，思い切って飛び込んでみてください．なんとかなりますよ．