Cerebrasが大規模言語モデルのリニアスケーリングをほぼ完璧に実現する1350万コアのAIスーパーコンピュータ「Andromeda」を発表

Cerebrasが大規模言語モデルのリニアスケーリングをほぼ完璧に実現する1350万コアのAIスーパーコンピュータ「Andromeda」を発表

1エクサフロップのAI演算と120ペタフロップの高密度演算を実現するAndromedaは、これまでで最大級のAIスーパーコンピュータであり、極めてシンプルに利用が可能

（カリフォルニア州サニーベール）-（ビジネスワイヤ） -- 2022年11月14日 - 人工知能(AI)コンピューティングの高速化のパイオニアであるCerebras Systemsは、本日、1,350万コアのAIスーパーコンピュータ「Andromeda」を発表し、商業および学術研究向けに販売を開始しました。16台のCerebras CS-2システムで構成され、Cerebras MemoryXおよびSwarmXテクノロジーを活用したAndromedaは、16ビット半精度で1エクサフロップ以上のAIコンピューティングと120ペタフロップの高密度コンピューティングを実現します。また、大規模な言語モデルのワークロードにおいて、単純なデータ並列処理のみで完璧に近いリニアスケーリングを実証した唯一のAIスーパーコンピュータです。

本プレスリリースではマルチメディアを使用しています。リリースの全文はこちらをご覧ください。：

ref

Cerebrasが大規模言語モデルのリニアスケーリングをほぼ完璧に実現する1..（Cerebras Systems プレスリリース）

1,350万以上のAI最適化コンピュート・コアと18,176個の第3世代AMD EPYC™プロセッサーを備えたAndromedaは、1,953個のNvidia A100 GPUよりも多くのコア、そして、870万コアを有する世界最大のスーパーコンピューターFrontierの1.6倍のコアを搭載しています。GPT-3、GPT-J、GPT-NeoXなどのGPTクラスの大規模言語モデルにおいて、単純なデータ並列処理により、ほぼ完璧なスケーラビリティを実現することができます。

完璧に近いスケーリングとは、CS-2を追加使用すればするほど、学習時間がほぼ完璧な割合で短縮されることを意味します。これは、GPUでは不可能な、非常に大きなシーケンス長を持つ大規模な言語モデルも含みます。実際、GPUでは不可能な作業は、Andromedaの最初のユーザーの1人が実証しており、GPT-Jで25億と250億のパラメータで、長い配列長--MSLは10,240でほぼ完璧なスケーリングを達成しました。このユーザーは、2,000台のNvidia A100クラスタであるPolarisで同じ作業を行おうとしましたが、GPUメモリとメモリバンド幅の制限により、GPUは作業を行うことができませんでした。

Andromedaへのアクセスは現在可能で、顧客や学術研究者はすでに実際のワークロードを実行し、以下のような主要なAIスーパーコンピュータの並外れた能力から価値を引き出しています:

アルゴンヌ国立研究所:「Cerebrasの研究者と協力して、アルゴンヌのチームは遺伝子変換に関する先駆的な研究を完成させました。この研究は、ACM Gordon Bell Special Prize for HPC-Based COVID-19 Researchのファイナリストに選ばれています。GPT3-XLを使用して、COVID-19ゲノム全体をシーケンスウィンドウに入れ、Andromedaは1、2、4、8、16ノードで長いシーケンス長(MSL 10K)の独自の遺伝子ワークロードを、ほぼ完璧な線形スケーリングで走らせたのです。リニアスケーリングは、大規模クラスタに最も求められる特性の1つですが、Cerebras Andromedaは、16台のCS-2システムで、1台のCS-2と比較して15.87倍のスループットと、それに匹敵するトレーニング時間の短縮を達成しました。Andromedaは、AIアクセラレータの性能に新たな水準を設定します」と、アルゴンヌ国立研究所のリック・スティーブンス副所長は述べています。JasperAI:「Jasperは大規模な言語モデルを使って、マーケティング、広告、書籍などのコピーを書いています。私たちのモデルを使用して、感動的なコンテンツやアイデアを生成している85,000人以上のお客様がいます。 大規模で増え続ける顧客ベースを踏まえ、各顧客とそのユースケースにフィットしたモデルのテストとスケーリングを模索しています。複雑な新しいAIシステムを作成し、それを粒度を上げてお客様に提供することは、私たちのインフラに多くのことを要求しています。次のモデルの設計と最適化において、Cerebrasと提携し、従来の分散コンピューティングや並列プログラミングの痛みを伴わないAndromedaの性能とほぼ完璧なスケーリングを活用できることに興奮しています」と、JasperAIのCEOであるDave Rogenmoserは述べています。AMD:「AMDは、広範なAIへの道を開き、企業の新たな効率性と俊敏性の能力を引き出す技術に投資しています。Cerebras Andromeda AIスーパーコンピューターとAMD EPYC搭載サーバーによるデータ前処理パイプラインを組み合わせることで、研究者の手により多くの能力を与え、より速く、より深いAI能力をサポートします」と、AMDのソフトウェア＆システム事業開発部門コーポレート・バイスプレジデントのKumaran Sivaは述べていますケンブリッジ大学: 「Cerebrasが大学院生にこれほど大きなクラスターを無償で提供したことは、並外れたことです。Andromedaは、1350万個のAIコアと、最大規模の言語モデルに対してほぼ完璧な線形スケーリングを実現し、分散計算や並列プログラミングの苦痛を伴わないのです。これはMLの大学院生にとって夢です」と、英国ケンブリッジ大学の博士課程に在籍するMateo Espinosa氏は述べています。Andromedaの最大規模の自然言語処理モデルに対するほぼ完璧なスケーリングは、業界最大かつ最もパワフルなプロセッサである第2世代のCerebras Wafer Scale Engine（WSE-2）、CerebrasのMemoryXおよびSwarm Xテクノロジーによって実現されています。 MemoryXは、CS-2 1台で数兆個のパラメータ・モデルをサポートすることを可能にします。SwarmXテクノロジーは、MemoryXをCS-2のクラスターにリンクさせます。これらの業界をリードする技術により、Cerebrasの大規模クラスターは、現代のAI研究に使用されている従来のクラスターを悩ませる2つの大きな課題、すなわち並列プログラミングの複雑さと分散コンピューティングによる性能低下を回避することが可能になっています。