生成AIの真髄は、シミュレーションにあるんじゃないか、と思った話
仕事の関係で、NVIDIAのGTCのキーノートと日本語セッションをざっと観た。
別にNVIDIAの回し者でもなんでもないし、そもそも僕はHWよりもSWやアプリケーションの方が好きなので、GPUに何か思いとかそういうものも一切ないのだけど、仕事の都合で見ておいた方がいいよね、と思って。
キーノートはここから日本語字幕が見られるので、興味のある人はどうぞ。
新しいGPUの紹介は、それがどれくらい凄いのかってのはイマイチよく分からんかったけど、購読している中嶋聡さんのメルマガの解説も読みながら見てたら、なんとなく分かった。こうやって知っている人が解説していただけるのはありがたい世の中だ。
以下、中嶋聡さんの2024/3/26のメルマガからの抜粋。
目玉となったアナウンスメントは、
・Blackwellと呼ばれるアーキテクチャで作られた最新のGPU、B100
・B100二つとCPU一つを搭載したAIサーバーGB200
・1.8TB/s でのGPU間通信をサポートする最新のNVLinkチップ/NVSwitch
の三つです。
B100は、TSMCの4nmプロセスで作られた208billionトランジスタを持つGPUです。AppleがM1/M2 Ultraと同様に、高速バスで接続された二つのGPU die（シリコンチップ）から構成されています。半導体は、トランジスタの数が増えて、dieが大きくなると「歩留まり」が悪くなるので、その問題を解消するために作られたのが、この multi-die チップです（ちなみに、M2 Ultraのトランジスター数は134 billion）。
Nvidiaのデータセンター向けのGPUビジネスは、二世代前のA100から大きく成長し、一世代前のH100（80 billionトランジスタ）は、Meta、Microsoft、Amazonなどが数billionドルを投資して、人工知能の学習および推論のためのスーパー・コンピュータを作って来ましたが、その性能をさらに数倍引き上げるのが、このB100です。
この基調講演によると、1.8trillionパラメータのLLMを学習させるのに、人世代前の GH100 シシテムを使う場合、8000個のGPUが必要で、15MWの電力を消費したのに対して、GB200システムを使えば、2000個のGPUで十分で、4MWしか電力を消費しないそうです。
GoogleやMetaが自社製のAIチップの開発を行っている理由の一つが、NVIDIAチップの高い消費電力です。AIクラスターを運営する際の最大のコストは電気代だからです。その意味でも、(そのNVIDIAが)消費電力を減らすことに成功したことは高く評価できます。
B100単体の価格は、$30,000から$50,000と言われていますが、NVIDIAは、より多くのGPUを、GPU単体ではなく、CPUを含めたGB200シシテム、さらにNVLinkも含めたスーパーコンピュータの形で販売することになることは、このプレゼンからも明確です。
18個のGB200（B100が36個、GPU dieは72個）と、9個のNVSwitchを一つのラックに収めたスーパーコンピュータ GDX GB200 NVL72 は、FP8(8bitの浮動小数点計算)で720PetaFlops、FP4だと1.44ExaFlopsの計算能力を持つことになります（参照：NVIDIA GB200 NVL72 Delivers Trillion-Parameter LLM Training and Real-Time Inference）。
日本が1300億円を費やして作ったスーパーコンピュータ富岳は、FP64で400PetaFlopsの性能を持ちますが、それとほぼ同等の性能を持つスーパーコンピュータが数億円（B100の値段からの概算）で購入できる時代になったのです。
この辺の解説を読みながら、改めてキーノートを見ると、それなりに理解できる。なるほどねー。
そしてGR00Tというプロジェクト及びOmniverseについても語られていた。この辺の話をすると長くなるのだけど、GR00TってのはNVIDIAのOmniverse戦略の中心となるコンセプトの一つだと認識しているのだけど、デジタルツインと呼ばれる仮想環境を構築し、そこで様々なシミュレーションを行い、それを現実世界に適用する、ということだと認識している。
そのサイクルがロボットの開発につながっている、ということだという理解。超ざっくりだけど。
で、肝となるのはデジタルツイン上でのシミュレーションだと思ったんだよね。如何にして現実そっくりのデジタルツインを構築するか、そしてその上でどれだけイレギュラーパターンも含めたシミュレーションが行えるのか。
シミュレーション自体は、多分一瞬で終わると思う。デジタル空間だから、すぐ処理できるよね。そこでいろんなパターンを考えてシミュレーションをすることで、ロボットの性能にそれが反映されていく。
で、シミュレーション結果を元に生成AIがリアルに応用するためのプログラムだったりモデルだったりを作り、それをリアルに動かした時に出て来た結果をまたデジタルツインに取り込んで、そのデータを解析して生成AIがまた新たなシミュレーションプランを作り、っていうサイクルになってんじゃないかと。
デジタルツインの中は、ほぼAIだけで動くみたいな感じになっていると思う。そこでもAIが大活躍するわけだけど、デジタルツイン環境のスクラップアンドビルドや改良・改善なんかは生成AIがものすごく活躍する場面なのだろう、と思ってる。
このシミュレーションして現実に戻し、現実で発生したことを素早くシミュレーションして、って動きは、自動運転も同じだよね。どれだけ短時間で処理できるのか、ってのは、「どれだけ短時間で目の前の事実を用いたシミュレーションが出来るのか」ってことにつながってるんじゃないかと。
どれだけリアルなデジタルツインを作れるか、そこでどれだけシミュレーションを多く回せるか、そしてどれだけ瞬時にシミュレーションを行えるか、ってのがやっぱり生成AIも含めたAIの真髄なのかな、と思ったりする。
それだけの環境を構築するには、やっぱり体力がないと無理だと思うので、結局は大企業が取り組むことになるのだろうけど。
ってのがキーノートの感想。
中小企業でも同じようにAIプラットフォームを使えるようにする、意味のあるものにするためには、どんな手段が取れるんだろうなぁ。僕の中での理想としては、データのシェアリングサービスみたいなもんなんだけど、なかなか難しいよなぁ。sakana.aiのやり方が、一つの解法に近いのかもしれない。
なんてことを考えさせられたGTCのキーノートでした。
今日の捨てるもの
今日はきのこの山イヤホンの発売日というかクラファン開始日だったので、なんとか2つはゲットした。3人家族なので、3つ欲しかったのだけど、3つ目は争奪戦に負けた。。。でも2つ買えただけでも良しとしようか。
ということで、今日はイヤホンを処分する。
PadMate社のpadmate S33。かなり安く買ったような記憶がある。PadMateの製品は、クラウドファンディングサイトのIndiegogoで1度買って、その後何度かオンラインショップでクーポンを使って買うことが多かったのだけど、そのうちの一つ。なんでこれを買ったのか、今となっては全く思い出せない。
ANCではなくENCがついている程度なので、まあ性能的にもほどほど。でも安いので、手は出しやすいのでは。
今回はこちらを処分する。
この記事が気に入ったらサポートをしてみませんか？