見出し画像

Gemini Advancedは英語でこそ輝く✨

最近Geminiを立ち上げると、

Ultra 1.0 搭載の Gemini Advanced は英語の回答に対してのみ最適化されていますが、対応している限り他の言語でも回答できます。

というメッセージが表示されるようになりました。

あまりに評判が悪いからでしょうか。しかし、確かに英語で聞いた場合の精度は驚くほど良かったです。

単に、あまりに聞かれる内容については、個別に人力で最適化(教師あり学習)されただけかもしれませんが、ハルシネーションに苛まれる事も無く、分からないことは分からないと答え、極めて誠実な回答だと思います。

While technically advanced, we don't currently publicize precise model parameter counts in the way OpenAI does with GPT models.

Gemini Advancedの一部抜粋

正確なモデルのパラメータは公表していない、ときちんと回答しています。

あとは、フランクな印象は受けますね。日本語だといい加減なヤツだな、と思いましたが、英語だと気さくな知識人の雰囲気を受けました。

Let me know what you have in mind!

Gemini Advancedの一部抜粋

折角なので、ChatGPT-4にこの回答はどのような性格の人間が書いたと思いますか?と質問してみました。

Based on the content and style of this English text, it seems to have been written by someone who is knowledgeable, articulate, and analytical. Here are a few specific traits that can be inferred:
(中略)
Overall, the writer seems like a well-informed, logical, and clear communicator who values practical application and experimentation.

ChatGPT-4より

「この英文の内容と文体から、知識豊富で明晰、分析的な人物によって書かれたものと思われる。(中略)全体として、この著者は、実践的な応用と実験を重視する、十分な知識を持ち、論理的で明確なコミュニケーターであるようだ。」と回答してきました。

ただし、自分はフランクで気さくな、といった印象を受けましたが、ChatGPT-4はそうは感じなかったようです。

ChatGPT-4より

確かに、そうかもしれません。変に個性を見いだそうと、人間側が変なバイアスに苛まれているのかもしれません。

あるいは、ChatGPT-4が硬すぎるのかもしれません。
デフォルトだと、結構硬いですよね。自分はそれがもの凄く好きなんですが。

ただ、Gemini Advancedについては、まだまだ可能性を秘めているなと痛感しました。母国語でこそ輝くのでしょうね。
ChatGPTも一応英語の方が精度が高いとの話もあるので、やはりそうなのでしょう。

しかしながら、やはり聞く内容によっては、あまり精度は良くないようです。
答えが明確で無いような、抽象的な質問であったり、また英語も正しい文法で無いと精度は落ちる気がします。(聞き方も悪いです。)

ChatGPT-4に英文を添削してもらいつつ、GPT4で書いた文章をGemini Advanced側で、どういった性格と類推できるか聞いてみようとしました。ですが、期待外れの生成結果だったので、そのような人によって感じ方が変わるものは、やはり回答が難しいのかもしれません。

ただし、上記の例だと、Gemini Advanced→ChatGPT-4の感想→Gemini Advanceとなっているので、そもそも良くない質問内容ですね。。。

まとめ

個人的に、誰もが聞くような事への回答精度は、特に英語の場合かなり満足のできるものでした。
しかしながら、ちょっと変わった質問、この文章はどういった性格の人が書いたと思いますか?や、そういった類いのものは、途端に精度が悪くなる印象を受けました。

ChatGPT-4は一応解釈して回答してくれるので、そこの違いは感じました。

ただ、何となくGoogleの中の人が人力で執筆している感も受けます。
あまりに回答結果に違いがありすぎる気がします。
とはいえ、ChatGPTもそう言う節はありますからね。こちらも人力とまでは言わないにしても、パターンは用意されている印象は受けます。

執筆していても、ChatGPTに任せると、やたらとレジスタンスが出てくる気がしますし、何でしょう、これも個性なのでしょうか。

とはいえ、まだ始まったばかりですし、まだ無料期間(今は登録から2ヶ月無料キャンペーン中)なので、どんどん使ってクレームを入れまくれば、どんどん良くなるでしょうし、皆で育てる感、ライブ感があるのは面白いと思います。

この記事が気に入ったらサポートをしてみませんか?