見出し画像

LLMの限界が近づく中、どう生きるか？

イモータリテ医

GPTの進化は、GPT-6で頭打ち説

GPT-4の登場から1年が経ちましたが、次世代モデルのGPT-5はまだ姿を見せていません。その理由は、学習コストの高さにあります。膨大な電力消費とサーバー代金が、新しいモデルの学習を困難にしているのです。

仮にGPT-5の学習が実現できたとしても、さらなる進化形であるGPT-6の登場はさらに厳しくなります。そうなると、GPT-7はより難しくなり、下手したら学習コスト的に、GPT-6が頭打ちの可能性があります。
つまり、現在のTransformerベースのLLM技術の限界が見え始めているのです。

その限界の時期は、GPT-4が2023年、GPT-5が2024年中頃、GPT-6が2026年って感じの開発だとすると、2026年あたりでしょうか？

ベンチマークテストの結果を見ると、GPT-3からGPT-4への進化がそのままGPT-5やGPT-6に適用されると、数学や大学院生レベルの推論では、熟練した人間に匹敵する性能を示しうるレベルかもしれません。
しかし、GPT-6で止まるとすると、超人的な数学者レベルのようなその先の飛躍的な進歩は望めないかもしれません。

とはいえ、GPT-6レベルの技術でも、かなりのことができそうです。一般的なWebサイトの制作やプログラミング、論文になるレベルの実験の企画、論文の執筆など、知的作業の多くをAIに任せられる時代が来るのではないでしょうか。

GPT-7レベルのAIを産むカギは、電力コストとサーバーコストのイノベーションにありそうです。電力問題は核融合発電の実用化（2030~2040年代と予想されています）によって解決できるかもしれません。サーバーコストについては、半導体技術の革新（時期不明）に期待が集まります。

AIは私たちの生活を大きく変えるポテンシャルを秘めていますが、同時に技術的な限界にも直面しています。
そこで、私は、GPT-6で頭打ちになることを前提に、技術の進歩と社会の在り方について、考えたいです。

GPT-6で頭打ちになったら? 次なる飛躍への道筋を考える

GPT-6が登場し、その性能が頭打ちになったとしたら、私たちはどのような対応策を取るべきでしょうか。次の一手を考える上で、「GPT-7レベルAIの実現方法を探る」、「GPT-6レベルの技術で現実の問題を解決する」と言う二つの観点から検討してみましょう。

GPT-7レベルAIの実現方法を探る

GPT-7のような次世代モデルを実現するためには、いくつかの技術的なブレイクスルーが必要不可欠です。

  1. 新しいアーキテクチャの発見： Transformer以降の、より効率的で汎用性の高いアルゴリズムの登場が待ち望まれます。

  2. 半導体技術のイノベーション： 量子コンピューティングやニューロモルフィックチップなど、革新的な半導体技術の進歩が鍵を握ります。

  3. 電力問題の解決： 核融合発電の実用化など、クリーンかつ安価な電力供給の実現が求められます。

  4. データの質の向上： 大規模なデータだけでなく、高品質なデータを効率的に収集・生成する手法の確立が重要です。

GPT-6レベルの技術で現実の問題を解決する

GPT-6の性能が限界に達したとしても、それを最大限に活用することで、様々な分野で大きな進歩が期待できます。

  1. 研究の加速： GPT-6を用いることで、文献レビューやアイデア生成、実験設計などの研究プロセスが大幅に効率化されるでしょう。これにより、新しいアーキテクチャや半導体技術、核融合研究などの進展が加速する可能性があります。

  2. 生産性の向上 ：Web制作やプログラミング、コンテンツ制作など、知的作業の自動化が進むことで、人々は より創造的で付加価値の高いタスクに専念できるようになります。

  3. 分野横断的なイノベーション： GPT-6を媒介として、自然言語処理、創薬、材料科学、気象予測など、様々な分野の知識が融合し、これまでにない発見やイノベーションが生まれる可能性があります。

  4. 社会制度のアップデート： GPT-6がもたらす変化に合わせて、教育や労働、知的財産権など、社会制度の見直しが求められます。AI時代にふさわしい新しいルールを作っていく必要があるでしょう。

私の個人的感想

GPT-6レベルでは、研究が爆速になるのではないかと思っており、研究者である私はその世界はエキサイティングだと私は思っています。
また、webの動画素材やアプリケーション作成もAIに任せて自由自在なんじゃないかと思っています。
医者としては、医者の仕事を代替するまでは行かなくても、相当に医者の判断や思考を代替してくれていて、医者の仕事はかなり効率化されると思います。

一方で、解決されない問題として、肉体労働の代替はあると思います。肉体労働はGPT-6ではまだ厳しいような気がしています、なぜなら、人々と触れ合う場での倫理的な理解や判断が厳しそうだし、その判断をできても、肉体をそこまでうまく操れるのかが、今のGPT-4レベルのロボット実験を見てても厳しそうに思えてるからです。（ぎりぎりできるかできないかライン？）
もちろん、工場ロボットやドローンとかは圧倒的に人間越えると思いますが、人間と関わる部分が微妙な感じで、一部の高度なことは結局人間頼りのレベルに落ち着くんじゃないかと思っています。

ロボットが解決されない場合、実験なんかも、やっぱり人間の労働が残ってしまい、実験室での実験はネズミの世話とかできても、アグレッシブな新しい実験をAIが企画しても、実行は人間となり、人の手の職人技頼りで、そこがイノベーションの障害点となっちゃいそうな気がしています。

まとめ

GPT-6の登場は、AIの可能性と限界を示す一つの節目になるかもしれません。GPT-6で頭打ちになった場合の次の一手をどう考えるか、身のふりをどうするかを考える必要があるかもしれません。

この記事が気に入ったらサポートをしてみませんか？