【速報】Geminiに謎の新モデル「Gemini Exp-0801」が登場！何とLLM性能ランキングで第○位？！

AIの進化についていけず、いつも最新モデルのスペルを覚えられないKey君です。昨日の夜、突如としてGoogle AI Studioに謎のモデルが登場したんです。

Googleの刺客、その名も「Gemini-1.5-Pro-Experiment-0801」

まず、このモデル名。「Gemini-1.5-Pro-Experimental-0801」...覚えられる気がしません（笑）。でも、この長ったらしい名前の裏には、すごい実力が隠されているんです。これは従来のGemini 1.5 Proの改良版だと思います。

Google AI Studioで利用可能

驚異のパフォーマンス！さらに進化したGemini

なんと、このモデルはLMSYSのChatbot Arenaランキングで現在1位を獲得しているそうです。これって、前のバージョンからさらにパワーアップしたってことですよね？しかも現在唯一の1300点台突破？！
特に画像認識能力が向上しているらしく、植物や動物の識別ではGPT-4を上回る性能を示しているとか。いつも比べられるGPT-4くんがかわいそうです（笑）。
そして、これがすごいんです。テストケースによっては、以前のGemini 1.5 Proよりも優れた性能を発揮するという報告があるんです！特に多言語パフォーマンスが特に優れているとの指摘があります。これが最も期待しているとこるです！

現時点最強モデル

200万トークン!? 変わらぬ高性能ぶり

このモデル、200万トークンのコンテキストウィンドウをサポートしているそうです。実は、これは従来のGemini 1.5 Proと同じなんですよ。でも、改めて考えるとこの能力って本当にすごいですよね。
私が書いたシナリオ数本を丸々入力しても、まだまだ余裕があるくらいの量なんです。
従来のGeminiはコンテキストウインドーが長いが、性能がちょっと残念という印象だったので、今回のアップデートで巻き戻せるかもしれません。

その高点数は過学習の可能性も？

ここで冷静になる必要がありそうです。このモデルには、過学習の可能性も指摘されているんです。つまり、テストデータに対して優秀な成績を出しているけど、実際の使用では思ったほど優れていない可能性があるってこと。
まぁ、現在はあくまでも「Experimental」モデルなので、正式リリースまでにまたレベルアップされるでしょう。

ユーザー体験

さて、実際に使ってみた人たちの感想も気になりますよね。このモデル、創造的な回答をしてくれる一方で、ちょっと繰り返しが多いという印象があるみたいなんです。
それと、面白いことに、Claude 3.5 Sonnetに似てるって言う人もいるみたい。それは「人間らしい」や「想像力」で捉えていいのかな（笑）。

終わりに

Googleがこうしてテストモデルを予め限定公開するという流れ。今後増えていく可能性があるですね。
そして、このGemini-1.5-Pro-Exp-0801、実は数週間以内にリリースされるんじゃないかって期待が高まっているんです。え？数週間！？私がようやくモデル名のスペルを覚えた頃には、もう使えるようになってるってこと？

#生成AI
#AIとやってみた
#Claude
#ChatGPT
#Gemini
#プロンプト
#プロンプトエンジニアリング
#AI創作
#AIライティング
#GoogleAI
#Gemini1 .5Pro