ハードウェアに合わせるか、アルゴリズムに合わせるか：効率的な技術開発の選択
「富岳」で和製生成AI 東工大や富士通、23年度中に
2023年5月22日 14：00 (2023年5月22日 16：03更新)
上の記事でも、観る必要のない、ひろゆきと松尾君のくだらない番組を紹介していますが、一日の開発の遅れが致命傷になりかねないAI開発競争の真っ最中に、ひろゆきと同次元のくだらない話で時間を浪費している松尾君は、自ら『AI開発競争とは関係がない学者でございます』と宣言しているようなものです。
一方で、この記事に対する以下の国立情報学研究所（NII）の佐藤一郎先生のご指摘は、大変重要な提言だと思います。
佐藤一郎
国立情報学研究所 教授
日本では、スパコンに関して、一位でないとダメなのか、という質問以降、スパコンの性能や、向き不向きに関する疑問はもってはいけない雰囲気があるが、気になるのは富岳の計算能力を使えば、対話AIの学習モデルの構築はできるとしても、ChatGPTなどのTransformer系の学習モデルは、GPUを駆使したデータセンター向きの学習モデルといえて、富岳のアーキテクチャが向いているのか（経済的な意味も含めて）、富岳を前提に研究開発した学習モデルを、企業が一般的なGPUベースのデータセンターで利用できるか、などは冷静に考えたいものである。
2023年5月22日 15：06 (2023年5月22日 15：15更新)
上の引用文を書かれたNIIの佐藤一郎先生は、松尾君ほど暇ではないので、推敲する間もなく一分以内に句点を打ち忘れて一気に書き上げたのだと思われます。そこで、松尾君ほど暇人ではなく、佐藤先生ほど多忙ではないAI無知倫理学会が、佐藤先生のご指摘が如何に重要なのかについて、補足説明をしてみます。
まず、佐藤先生の『一位でないとダメなのか』は、スパコンの開発に携わっている研究者や技術者全員が激怒するか、呆れかえった蓮舫議員の以下の発言のことを指しているのだと思われます。蓮呆がこのような質問をした理由には、『二重国籍だった蓮舫が他国を優位にする策略だった』という陰謀論と、『単に蓮呆が無知だからではないか？』という蓮呆無知論があります。この蓮呆の『無知』な質問に対しては、理路整然とスパコン開発は、二位では意味がないことを反論できなかった、非質問者の『無知』も問題視されています。
蓮呆：『世界一になる理由はなにがあるんでしょうか？ ２位じゃだめなんでしょうか？』
佐藤先生は富岳を使ってAIの学習モデルを構築することの妥当性について疑問を投げかけています。アーキテクチャとモデルの適合性はAIのパフォーマンスや効率に大きく影響を及ぼすため、重要なポイントです。また、作成されたモデルが広範に利用できなければ、その利便性や普及性が限定される可能性があります。つまり、佐藤先生のご指摘は、現実性と汎用性の観点から極めて重要なものです。
佐藤先生のような情報通信産業にとって重要な方ほど、AI無知倫理学を学び、政治家や官僚や日経新聞記者や、このようなロークオリティーな記事を読んでいる読者がどれほど『無知』であるかを理解して発言すると、佐藤先生の発言の重要さが伝わると思われます。
AI無知倫理学会として佐藤先生のご意見を補足すると、スーパーコンピュータには、様々な種類があり、その種類によって向き不向きな用途があります。
(1) ベクトル型：ベクトル型プロセッサを搭載し、大量の配列処理を得意とするスーパーコンピュータです。
(2) アレイ型：複数のプロセッサを配列状に接続したスーパーコンピュータです。
(3) 並列型：複数のプロセッサが同時に処理を行うスーパーコンピュータです。分散共有メモリ方式と分散メモリ方式に分かれています。
(4) 分散型：複数のスーパーコンピュータをネットワークで接続し、処理を分散する方式です。
これらの方式でGPTのトランスフォーマーアーキテクチャーは、大量のデータと複雑な計算を必要とするため、並列型のスーパーコンピュータが向いています。並列型は複数のプロセッサが同時に処理を行うことができるため、膨大なデータを高速に処理することが可能です。
富岳は並列型スーパーコンピュータの一種であり、ブーストモード時には537 PFLOPSのピーク性能を発揮するため、トランスフォーマーに向いていると言えなくもありません。
ところが、イーロン・マスクがTruthGPTを立ち上げるためにGPUを買い占めて批判を浴びたことからも明らかなとおり、トランスフォーマーはGPUを大量に使った方が有利な設計となっています。そのため、GPTに重点を置いていない富岳でトランスフォーマー型のNLPを高速処理するためには、アーキテクチャを富岳のハードウェアに合わせて調整する必要があります。
このことは、GPUを使わずとも高速処理できるアーキテクチャの開発ができる可能性もありますが、手軽に入手可能なGPUの処理に向かないアーキテクチャとなってしまい、汎用性が無くなることを佐藤先生は危惧していらっしゃるのだと、AI無知倫理学会では解釈しています。
今回の富岳のケースのようにハードウェアに合わせてアルゴリズムを開発するアプローチと、トランスフォーマーのようなアルゴリズムに合わせてハードウェアを開発するアプローチには、それぞれ特性や利点、欠点があります。そのため、どちらが効率的かは、目的、予算、利用可能な技術など、具体的な状況に大きく依存します。
ハードウェアに合わせてアルゴリズムを開発するアプローチ
メリット
(1) 既存の計算資源の活用：すでに開発されたハードウェアを最大限に活用することができます。これにより、高価なハードウェアの開発・製造コストを削減できます。
(2) 既知の制約条件：富岳のハードウェアのスペックは既知であり、その条件に合わせてアルゴリズムを最適化することができます。
デメリット
(1) 制約が強い：既存のハードウェアの能力に制約され、それ以上のパフォーマンスを引き出すことが困難です。ハードウェアの能力を超えるアルゴリズムやアプリケーションを開発したい場合、このアプローチは適していません。
(2) 最適化の困難さ：既存のハードウェアにアルゴリズムを合わせるのは技術的に困難で、時間とリソースを大量に消費する可能性があります。
アルゴリズムに合わせてハードウェアを開発するアプローチ
メリット
(1) パフォーマンスの向上：必要な計算能力が具体的に解っている場合は、アルゴリズムに最適化したハードウェアを設計することで、パフォーマンスを大幅に向上させることが可能です。
(2) 革新的な解決策：新たなアルゴリズムに対応するハードウェアを開発することで、未解決の問題に対する革新的な解決策を提供できます。
デメリット
(1) 高コスト：新たなハードウェアの開発と製造は非常にコストがかかります。また、プロトタイプ開発、テスト、修正などのプロセスは時間とリソースを大量に必要とします。
(2) ハイリスク：アルゴリズムの開発段階でハードウェアを作り始めると、アルゴリズムが変更や改善が必要になった場合、ハードウェアの設計を大きく変更する必要が出てくるかもしれません。これは大きなリスクとなり得ます。
(3) 生産性の低下：新たなハードウェアの開発は時間がかかります。そのため、市場投入までの時間が長くなり、生産性が低下する可能性があります。
これらを総合的に考慮すると、どちらのアプローチが効率的かは、具体的な目的や状況によります。今回の富岳のケースのようにハードウェアの性能が求める解決策に十分対応できる場合、ハードウェアに合わせてアルゴリズムを開発する方がコスト効率が良いでしょう。しかし、革新的な解決策や高度な計算能力が必要な場合、アルゴリズムに合わせてハードウェアを開発する方が有効かもしれません。
日本の日立、富士通、NECなどの企業は高度なハードウェア技術と、AI技術を持っており、どちらのアプローチも可能です。しかし、一般的に既存のハードウェアを最大限に活用しながら、新たなアルゴリズムを開発・最適化する方が、リソースを効率的に活用すると考えられます。
その一方で、革新的なAI技術やアルゴリズムが開発された場合、それに合わせてハードウェアを開発することで、その性能を最大限に引き出すことができるでしょう。
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか？