AIの深層課題「行列乗算」が半世紀ぶりに改善

DeepMindといえば、AIの旗手として過去も何度か取り上げました。

上記記事でも取り上げた通り、お茶の間で話題になった囲碁AI「AlphaGo」の進化版「AlphaZero」、一旦は囲碁の世界から身を洗ったのですが、なんとそのバージョンアップ版が快挙を成し遂げました。

ディープマインドのAIが行列乗算で数学者の50年来の記録を破る

ようは、
行列同士の掛け算を高速化する技法を50年ぶりにAI（AlphaZero）が編み出した、
という話です。

子の掛け算を「行列乗算」と呼びます。まず間違いなく日常生活では聞かれないですね。
行列とは、数学で使われる行（縦）と列（横）に数字を並べて構成される存在です。この行列同士を掛け算する計算方法はほぼ無限といってもいいほどパターンがあります。

従来はシュトラッセン氏が1969年に考案した方法（アルゴリズム）が最速でしたが、53年ぶりにそれを上回りました。

このバージョンアップしたAIを「AlphaTensor(アルファテンソル)」と呼びます。
改善例を挙げると、AlphaTensorは2つの9×9の行列を掛け合わせるのに必要なステップの数を511から498に、2つの11×11の行列を掛け合わせるのに必要なステップの数を919から896にまで減らしました。

ただ、「それがどうしたの？」と思う方もいると思います。

実はこの行列乗算は、AIの主流となった深層学習の１つ１つの還元計算と深く関連します。
深層学習は、NVIDIAやGoogleが開発した並列型CPU（GPUやTPUと呼称）で処理されますが、まさにここでやっていることが行列乗算の積み重ねです。

実際上記２社製の並列プロセッサー比較で10－20%程度改善したそうです。

さらに、行列乗算はその行列構造によって最適な計算手順（アルゴリズム）が変わるため、そのタイプ別アルゴリズム探しにもAlphaTensorは貢献出来るそうです。

まとめると、「深層学習の処理速度効率化を底上げ」できます。これだけで相当な経済的なコストメリットが期待できます。

関連でもう１つ添えると、2021年にMITの研究グループが、そもそも行列乗算を回避できる技法も考案されています。

MItの研究チームがAMM(Approximate Matrix Multiplication)アルゴリズムのMADDNESSをオープンソースとして公開

こちらは一定の条件下でかつ発生するエラー率を受け入れることのトレードオフのようですが、ケースによってはこれも有用です。

それにしても、AlphaZeroがまだ進化を遂げており、それが自身もそれで誕生したAIの深層学習計算方法を高速化する、というある意味自己を磨く行為とも取れます。

以前に、未来学者カーツワイル氏が唱えた「シンギュラリティ」。
人工的な技術が自己改善を積み重ねていずれは人類の知能を超える臨界点を指します。
今回がそれにあたるわけではないですが、１つ１つのパーツがつながると一気に技術ブレークスルーを超える可能性はあります。

効率的な計算方法をAIが編み出した、という表面的な事象以上にインパクトのある出来事なのかなと感じます。