次世代AI言語モデルGPT-4のスペック及び性能に関する予想
2020年6月にOpenAIが発表したGPT-3は、人間が書いたような文章を生成できる巨大言語モデルとして世間の注目を集めました。その後継モデルであるGPT-4は、今年（2022年）中に発表されると予想されていましたが、発表時期が延びて、現在は、来年（2023年）春にリリースされる見込みとなっています。
今年11月にOpenAIが発表した対話型AIのChatGPTが非常に高性能で人気を集め、GPT-4は、それ以上の性能が期待されていることから、多くの人がGPT-4のリリースを待ちわびています。
そこで、これまでに公表されているGPT-4に関するネット記事などを参考に、GPT-4のスペックや性能に関する予想を紹介します。
１．モデルのサイズ
初代GPTは1.17億、GPT-2は15.42億、GPT-3は1,750億と、モデルのパラメーターの数は、毎回、大きく増えてきました。GPT-4については、一時期、100兆パラメーターに達するという予想もありましたが、今年3月に発表されたDeepMindの研究で、モデルサイズの大きさが必ずしもパフォーマンスの最大化に直結しない（モデルサイズと学習データ量のバランスが重要）ということが明らかになったため、現在は、それほど大きくはならないと予想されています。
最近の予想では、GPT-4のパラメーターは、2,000億～１兆と予想されています。
ただし、現在集められる学習データの限界が10兆(10T)トークン程度と言われているので、以下のDeepMindが示した最適直線に従えば、モデルのパラメーター数は、3,000億〜5,000億程度になりそうです。
２．学習データ
モデルサイズと同じくらい重要とされる学習データの量は、GPT-3の3,000億トークン程度から相当増加して、10兆トークン程度になると予想されています。
データの内容としては、TwitterやRedditなどから入手した対話データも増えるのではないかと予想されています。
また、OpenAIは最近、Microsoftとの関係を強化しているので、Microsoftの検索エンジンBingの検索データも利用するのではないかとの予想もあります。
３．ユニモーダルモデル
テキストだけでなく、画像や動画などのデータも扱えるマルチモーダルモデルになる可能性は小さく、文字だけのユニモーダルモデルになる可能性が高いと見られています。
最近、Googleや中国の巨大言語モデルがマルチモーダルモデルに舵を切っているので、 GPT-4は最後の巨大ユニモーダルモデルになるという話もあります。つまり、 GPT-5以降は確実にマルチモーダルモデルになっていくだろうということです。
４．高密度モデル
入力されるデータに合わせて、パラメーターの一部のみを計算に使用するスパースモデルが最近、成功を収めていますが、GPT-4は、従来通りすべてのパラメーターを使用してタスクを遂行する高密度モデルを採用すると予想されています。
なお、スパースモデルを採用した場合は、見かけ上のモデルサイズ（パラメーター数）が非常に大きくなります。
５．アライメント問題への対応
GPT-4は、言語モデルをいかにして我々の意図に沿わせ、我々の価値観に従わせるかというアライメント(価値観の整合性)問題について、より積極的に対応すると考えられています。
具体的には、InstructGPTやChatGPTで採用された人間のフィードバックからの強化学習（RLHF）や近接方策最適化（PPO）がGPT-4でも採用され、倫理的なAIを目指すことになるでしょう。
例えば、ChatGPTの場合、RLHFは、以下の3ステップで進められています。
人間のAIトレーナーがユーザーとAIアシスタントの両方の役割を演じた会話データで言語モデルに教師あり学習を行う。
AIトレーナーがチャットボットと交わした会話データを順位付けして、報酬モデルの学習に使用する。
この報酬モデルを利用し、PPOで言語モデルを最適化するプロセスを繰り返す。
※ PPO(近接方策最適化)とは、2017年にOpenAIが開発した実装や調整が簡単で、高い性能を発揮できる強化学習アルゴリズムで、勾配降下法を用いて累積報酬を最大化する方策を決定する方策勾配法のアルゴリズムの一種です。
６．その他の特徴
コンテキストウィンドウが大きくなり、これまでの4倍（16,384トークン）程度の長文データが扱えるようになると予想されています。
また、これに関連して、以前の会話の情報を保持し、参照する記憶性能と大量のテキストから必要な要素を抽出する要約性能が飛躍的に向上すると見られています。
７．まとめ
GPT-4になって、これまでのGPT-3やChatGPTと何が変わるのでしょうか。
先ず、扱える文字数が増えることから、これまで分割しないと作成できなかった長い文章を一度に作成することができるようになります。これによって、論文や報告書など実用的な文章を作成できるようになり、用途が広がります。
また、記憶性能と要約性能が向上することにより、他の文書などを参照しながら文書を作成することが可能になります。これにより、資料を示して、それを踏まえたレポートや書類を作成することもできるようになります。また、音声認識ソフトと組み合わせて、聞き取った内容を定型フォームにまとめることなども簡単にできるでしょう。
さらに、文章生成の精度も相当程度向上することを考えれば、これまでのGPT-3やChatGPTによる文章生成がネタやお遊びに近かったのに対して、GPT-4では、本格的な業務に利用できる可能性が高まります。将来的には、事務処理業務のほとんどは、文章生成AIが代替できるようになるでしょう。
こうしたことから、GPT-4の出現により、初めて文章生成AIの業務利用及び職場への導入が本格的に開始すると言えると思います。
【参考】
この記事が気に入ったらサポートをしてみませんか？