Gemini Advancedは英語でこそ輝く✨
最近Geminiを立ち上げると、
というメッセージが表示されるようになりました。
あまりに評判が悪いからでしょうか。しかし、確かに英語で聞いた場合の精度は驚くほど良かったです。
単に、あまりに聞かれる内容については、個別に人力で最適化(教師あり学習)されただけかもしれませんが、ハルシネーションに苛まれる事も無く、分からないことは分からないと答え、極めて誠実な回答だと思います。
正確なモデルのパラメータは公表していない、ときちんと回答しています。
あとは、フランクな印象は受けますね。日本語だといい加減なヤツだな、と思いましたが、英語だと気さくな知識人の雰囲気を受けました。
折角なので、ChatGPT-4にこの回答はどのような性格の人間が書いたと思いますか?と質問してみました。
「この英文の内容と文体から、知識豊富で明晰、分析的な人物によって書かれたものと思われる。(中略)全体として、この著者は、実践的な応用と実験を重視する、十分な知識を持ち、論理的で明確なコミュニケーターであるようだ。」と回答してきました。
ただし、自分はフランクで気さくな、といった印象を受けましたが、ChatGPT-4はそうは感じなかったようです。
確かに、そうかもしれません。変に個性を見いだそうと、人間側が変なバイアスに苛まれているのかもしれません。
あるいは、ChatGPT-4が硬すぎるのかもしれません。
デフォルトだと、結構硬いですよね。自分はそれがもの凄く好きなんですが。
ただ、Gemini Advancedについては、まだまだ可能性を秘めているなと痛感しました。母国語でこそ輝くのでしょうね。
ChatGPTも一応英語の方が精度が高いとの話もあるので、やはりそうなのでしょう。
しかしながら、やはり聞く内容によっては、あまり精度は良くないようです。
答えが明確で無いような、抽象的な質問であったり、また英語も正しい文法で無いと精度は落ちる気がします。(聞き方も悪いです。)
ChatGPT-4に英文を添削してもらいつつ、GPT4で書いた文章をGemini Advanced側で、どういった性格と類推できるか聞いてみようとしました。ですが、期待外れの生成結果だったので、そのような人によって感じ方が変わるものは、やはり回答が難しいのかもしれません。
ただし、上記の例だと、Gemini Advanced→ChatGPT-4の感想→Gemini Advanceとなっているので、そもそも良くない質問内容ですね。。。
まとめ
個人的に、誰もが聞くような事への回答精度は、特に英語の場合かなり満足のできるものでした。
しかしながら、ちょっと変わった質問、この文章はどういった性格の人が書いたと思いますか?や、そういった類いのものは、途端に精度が悪くなる印象を受けました。
ChatGPT-4は一応解釈して回答してくれるので、そこの違いは感じました。
ただ、何となくGoogleの中の人が人力で執筆している感も受けます。
あまりに回答結果に違いがありすぎる気がします。
とはいえ、ChatGPTもそう言う節はありますからね。こちらも人力とまでは言わないにしても、パターンは用意されている印象は受けます。
執筆していても、ChatGPTに任せると、やたらとレジスタンスが出てくる気がしますし、何でしょう、これも個性なのでしょうか。
とはいえ、まだ始まったばかりですし、まだ無料期間(今は登録から2ヶ月無料キャンペーン中)なので、どんどん使ってクレームを入れまくれば、どんどん良くなるでしょうし、皆で育てる感、ライブ感があるのは面白いと思います。
この記事が気に入ったらサポートをしてみませんか?