東大松尾研究室の松尾豊氏がまとめたLLMの拡大に関する論点について
2023年1月から自民党内において、「AIの進化と実装に関するプロジェクトチーム」が立ち上げられ、すでに12月14日に「AIの安全性確保と活用促進に関する緊急提言」がまとめられました。
また20日には、自民党のデジタル社会推進本部の本部長である平井卓也衆議院議員から、高市早苗内閣府特命担当大臣に申し入れされています。
自民党のAI PTの会議では、度々有識者のヒアリングが行われており、東大松尾研究室の松尾豊氏が2023年11月28日に参加していました。ちなみに松尾豊氏は、2023年度に内閣府に設置されたAI戦略会議の座長でもあります。
その有識者ヒアリングにおいて提出された資料に、「LLMの拡大が今後どうなるかを示す論点」がまとめられていました。
自民党AI PTに提出された資料
「LLMの拡大が今後どうなるかを示す論点」は、「生成AIと日本の戦略」資料の8ページに以下の内容がまとめられています。
・ LLMがどこまで大きくなるのか
・ 現状では、数千億パラメータまで？
・ GP-T4は、2200億パラメータのモデル×8つのMixture of Expertsで、約
2兆パラメータ
・ つまり、これ以上、単一モデルでパラメータ数を増やしても精度が上
がらない？
・ →12月にリリースされるはずの、GoogleのGeminiの性能・規模に要注
目
・ Googleが本気を出したもの
・ 規模がそれほど大きくならない場合には…
・ オープンソースが着々と勢力を伸ばす。Llama70B、Falcon180Bな
ど。
・ データサイズよりもデータが重要に。パブリックなデータより、プロ
プラエタリなデータがより重要に。
・ 領域特化のモデルも有効に
・ 規模がさらに大きくなる場合には…
・ 汎用のモデルが優勢に。世界的な寡占に。
第23回「AI分野における世界の中での日本の勝ち筋について」有識者ヒアリング
松尾研究室「生成AIと日本の戦略」 P8
時系列としては、有識者ヒアリングは11月28日に行われており、Googleが開発したGeminiの発表が12月6日となります。
松尾豊氏の資料には、Googleが開発したGeminiの性能や規模について注目されていました。実際にGeminiが発表された際に公表された技術レポートにおいて、各LLMの比較が掲載されています。
Geminiの技術レポート
Geminiの技術レポートでは、テキストと推論のベンチマークの評価結果が掲載されています。
Google DeepMind（2023）"Gemini: A Family of Highly Capable
Multimodal Models" P7.
技術についてはまったくの門外漢となるため、詳しい説明は控えます。ただ内容を見ると、Gemini Ultraは、GPT-4や他のモデルを超える性能があることがわかります。ただし爆発的に大きな性能ともいえない気もします。
考察
実際にGeminiにパラメータ数を聞いてみると、1.6兆パラメータのようです。
またGoogleの以前のLLMであるPaLMの5,400億の3倍に相当しています。松尾豊氏の資料では、GPT-4のパラメータ数が「2200億パラメータのモデル×8つのMixture of Expertsで、約2兆パラメータ」としているところを見ると、現状では、単一モデルでパラメータ数を増やしても精度が上がらないと推測できるのかもしれません。
もちろん2024年になって、GPT-4.5またはGPT-5などが出てきて、パラメータ数を覆す可能性は大いにあるでしょう。しかし現状では、規模がそれほど大きくならない、または「できない」可能性も考えられるのかもしれません。
もし規模が大きくならなければ、LLMに入れるデータが重要になることや、領域特化モデルが有効になるといえます。どちらにせよまだ確定したわけではないため、実際にどうなるかは推移を見守る必要があるでしょう。
読んでいる方へのお願い
この内容が役に立ったという方は、「♡（スキ）」や「フォロー」をお願いします。
「X」「facebook」「LINE」でシェアいただけるとさらに嬉しいです。
またGenerativeAI活用研究所では、サポートをお受けしています。活動を継続させていくために、どうかお願い申し上げます。
GenerativeAI活用研究所では、サポートをお願いしております。サポートのお金は、活動の原資（運営費や電気代などの固定費、書籍購入費など）に充てさせていただきます。活動を継続させていくために、どうかお願い申し上げます。