計算の高速化は止まらない

はじめに

生成AIが話題になって2年になります。改めて生成AIの進化を計算速度の視点からお話しします。

計算の高速化

ムーアの法則

ゴードン・ムーア（インテルの共同創業者のひとり）は1965年に半導体の集積は毎年2倍になるというトレンドを示しました。1975年には2年で2倍になると修正しました。以後、40年以上にわたって、半導体の開発を導く指標となっています。
2年で2倍とは10年で64倍ということです。同じコストでできるとしたら計算のコストが1/64になるということです。これは経済的にはほとんど無料になるに近いコストダウンです。

ムーアの法則をしのぐAI半導体の高速化

ムーアの法則ですら、いつまでも成り立たないと言われている倍々の法則です。生成AIの計算をするGPUではもっとすごいことが起こっています。
2024年3月に行われたGTC2024の基調講演でJensen HuangはGPUのチップあたりの計算量は8年で1000倍になっており、ムーアの法則をもしのぐと述べました。これはチップあたりだけであり、NVIDIAはGPU間のNVLinkによる高速相互接続も実現しているので、多数のGPUが構成するNB200のようなAIコンピュータの性能向上はさらに上を行っています。
新発表のNVIDIAのBlackwellアーキテクチャのGB200スーパーチップのTransformer Engineの4ビット浮動小数点性能は40 PFLOPSです（1秒間に4京回）。参考文献のB200のスペックを倍にしました。
1982年のスーパーコンピュータ Cray-I の浮動小数点性能が80 MFLOPSです。M(メガ)の1000倍がG(ギガ）でその1000倍がT(テラ)でその1000倍がP(ペタ) です。40年前の世界最高速スーパーコンピュータの5億倍の計算性能があります。1秒間に1京回も（これからさらに多く）計算すればなんとでもなってしまいます。

脳への挑戦

今の最大の大規模言語モデルのパラメータ数が2兆個くらいです。大脳のニューロン数が30兆から300兆といわれています。パラメータ数とニューロン数は1対1ではありません（The AIGRID参考文献参照）。しかし、だいたいの数字として100倍、あるいは安全に係数100をかけて10000倍としても、10000倍の計算量を進化するGPUが達成するのに10年はかかりません。
Ray Kurzweilが2005年に倍々ゲームでいつかはシンギュラリティが来るといったときには信じられませんでした。目前まで来ているのは間違いないと思わされます。

おわりに

これだけ計算が高速化すれば計算機が人間なみの認知性能を達成するのも無理はないと思います。

参考文献

• ムーアの法則 Wikipedia

• Jensen Huang GTC2024基調講演　https://www.nvidia.com/ja-jp/gtc/keynote/ 2024年 2h03m

• 広い地平線：NVIDIA の基調講演が指し示す AI のさらなる進化https://blogs.nvidia.co.jp/2023/09/06/hot-chips-dally-research/ 2024年

• AI特化設計になったNVIDIA Blackwell、並列性を向上する仕組みが強化　https://pc.watch.impress.co.jp/docs/column/ubiq/1577897.html　2024年

• Things Just Got SERIOUS! GPT-7 , AGI, Surprising AI Layoffs, $100 BILLION AI Model, Google New AI... https://www.youtube.com/watch?v=KX6-yiJjLuM 2024年 TheAIGRID 26m57s