Hardware Optimization of Stochastic Computing

2021年度研究会推薦博士論文速報
［システムとLSIの設計技術研究会］

石川 遼太
（日本IBM）

邦訳：ストカスティックコンピューティングのハードウェア最適化

■キーワード
ストカスティックコンピューティング／概算演算／論理回路設計

【背景】データ処理の大規模化・高度化に伴うハードウェアコストの増加
【問題】概算演算回路における汎用的な関数表現の制限
【貢献】新たな回路の実現による表現可能な関数の拡大

　近年，スマートフォンやパーソナルコンピュータなどの汎用ハードウェア機器だけでなく，画像処理による自動運転や，機械学習を用いたスマートスピーカーなど，専用ハードウェア機器も多数開発され，大規模なデータ処理が実現されている．また，組込みプロセッサなどのプログラム可能な部品により，ハードウェア機器を書き換え，データを処理させることもできる．実装するアプリケーションによっては必ずしも高精度な演算が必要となるとは限らない．特に，画像処理や機械学習では誤差があっても結果に影響を与えにくい．こうした背景から，演算に誤差を許容することでハードウェアの回路面積を小さくする概算演算が注目されている．

　概算計算の一種であるストカスティックコンピューティング（Stochastic Computing，SC）は，数値をストカスティック数（Stochastic Number，SN）と呼ぶビット列で表現し演算することで，回路面積が大幅に削減される．SNはビット列中の「1」の割合で数値が定義される．これにより，SN同士の乗算・加算は，精度によらずそれぞれ1つの論理積ゲート・選択ゲートによって表現される．つまり主要な算術演算が非常に単純な回路で実現される．

　一方，SCでは関数表現の制限が大きな問題点である．その問題点の要因には大きく2つあり，1つ目はSNの複製である．一般に複雑な演算では，同じSNを複数の論理ゲートに入力する必要があるが，このときにSNの複製が必要となる．しかし，複製されたSNのビット列同士に相関があると期待通りの演算が実現できず許容できない大きな誤差の要因となる．2つ目の問題は，SCにおいて非連続な関数の表現である．一般にSCによって連続関数を表現する方法はいくつも提案されているが，ステップ関数など実用上よく知られる非連続関数を汎用的に実現する方法は知られていない．

　以上の背景のもと，効率の良いSN複製器と，SNを用いた非連続関数回路を実装し，評価した．本研究は，以下の3部で構成される．

　第1部では，2種類のSN複製器を提案している．FSR（Flip-flop Selecting circuit using a Random bit stream）複製器とRRR（Register based Re-arrangement circuit using a Random bit stream）複製器である．これらの複製器は，SNを入力すると，入力と値は等しく，相関が少なく，なおかつ異なるビット列のSNを生成する．複数の関数に対し，提案した2つの複製器を評価した結果，真値と比較し十分に誤差を小さくした演算が可能であることを確認している．RRR複製器は特に誤差が小さいことを確認している．

　第2部では，第1部で提案されたRRR複製器を拡張し，$${2^n}$$RRR複製器を提案している．$${2^n}$$RRR複製器は，$${2^{n-1}}$$個のRRR複製器を構成したもので，ハードウェアコストと精度をスケーラブルに両立することを可能とする．理論的に$${n}$$の値を大きくし，SNを表現するビット数を大きくすることで，誤差を小さくした演算が実現される．実際に提案した $${2^n}$$RRR複製器を用いて複数の関数で評価した結果を報告している．
 
　第3部では，SNを用いた非連続関数の表現を提案している．非連続関数としてステップ関数を表現し，さらに別の関数を組み合わせることで，さまざまな非連続関数を表現している．実験で誤差評価する同時に，SNを表現するビット列が十分に長ければ，提案する表現は真の非連続関数に収束することも理論的に証明している．

　以上，本研究では，概算計算の中でもSCに着目し，SNの複製と非連続関数の最適なハードウェア構成を提案し理論的・実験的に評価している．

■Webサイト／動画／アプリなどのURL
https://www.togawa.cs.waseda.ac.jp/~ryota.ishikawa/

参考文献
1）Ishikawa, R., Tawada, M., Yanagisawa, M. and Togawa, N. : Stochastic Number Duplicators Based on Bit Re-arrangement Using Randomized Bit Streams, IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences, Vol.E101-A, No.7, pp.1002–1013 (July 2018).
2）Ishikawa, R., Tawada, M., Yanagisawa, M. and Togawa, N. : Scalable Stochastic Number Duplicators for Accuracy-flexible Arithmetic Circuit Design, IPSJ Transactions on System LSI Design Methodology (T-SLDM), Vol.13, pp.10–20 (Feb. 2020).
3）石川遼太，多和田雅師，戸川　望：ストカスティック数を用いた絶対値関数及び不連続関数の実装と評価，情報処理学会DAシンポジウム論文集，pp.65–70 (Sep. 2021).

（2022年5月31日受付）
（2022年8月15日note公開）

ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー
　取得年月日：2022年3月
　学位種別：博士（工学）
　大学：早稲田大学
ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー ー

推薦文［コンピュータサイエンス領域］システムとLSIの設計技術研究会
本論文では，概算計算の一種であるストカスティックコンピューティングを対象に，ストカスティック数の複製ならびにストカスティック数を用いた非連続関数を実現する効率的なディジタル回路構成を提案し，理論的・実験的な評価を行っている．高度情報通信社会に不可欠である概算計算技術の発展に寄与する研究である．

研究生活　　研究テーマを決めたきっかけは，B3のときに勧められたことでした．回路の研究でありながら理論的に優位性を証明できるところに惹かれて研究にのめり込んでいました．学部・修士で研究を終わらせることがもったいないと感じたのと，経済的な負担の目途が立ったことで，博士後期課程への進学を決意しました．学費の捻出のため，課程の最後の2年間は企業でも働いていました．研究活動との両立には少々苦労しましたが，無事学位を所得できる運びとなり大変嬉しく思います．

　学部・修士・博士と社会人を経験してみて感じたのは，「自分が本当にやりたい研究は博士課程でしかできない」ことです．やりたいことがあって博士進学を考えている方はぜひ検討いただければと思います．

　最後に，博士号取得までの全過程においてご指導いただきました戸川望教授，多和田雅師先生，研究活動を支えてくださった研究室の皆様にこの場を借りて深くお礼申し上げます．