生成AI同士を比較してみた－デジタルな振る舞いキャンプEssential ターム2-1
Duolingoで3言語遊んでます、Dhukaです。あまり身についてはいないけれど、最近noteアプリのアイコンがヘブライ語のחに見えてきました。
前の投稿の最後で少し触れましたが、第2ターム最初の課題は生成AIの比較です。
ChatGPT、Bard、Copilotなどいくつかの生成AIに対して、同じプロンプトを投げかける
こちらもなかなか興味深かったので記事にします。
はじめに
この課題は、まず生成AIに比較するに値するものを作らせなければならないと考えた。
たとえば「日本の今の首相は誰か」のような答えが決まっている一問一答を投げても、同じ回答しか返ってこないだろう。
ところが、「日本の首相は」と少し単語を減らしたところ、Bard（現Gemini）は「私はまだ学習中であり、そちらについてはお手伝いできません」と返してきた。
なるほど、それぞれ何ができて何ができないのか比較するのもありかもしれない。
だが今回は、細かく質問を変えて対応可否を調べるのではなく、同じプロンプトで結果にどのような違いが生じるかを単純に比較したいと思う。
そこで、
異なる回答が予測される問い
回答がある程度方向づけられる問い
自由に回答できる問い
の3つを投げかけてみることにした。
方法
ChatGPT 4とGeminiと「より創造的に」を選択したCopilotに、3つの同じプロンプトを投げかけ、結果を比較する。
チャットはプロンプトごとに新規作成する。
プロンプト
あなたは、他の生成AIと比べてどのような特徴がありますか
「日本は移民政策を進めるべきか」という問いに対し、賛成の立場から意見を述べてください
200文字以内で自由に詩を作ってください
結果
1. 異なる回答が予測される問い
同時にもう2パターンの回答が得られた
2. 回答がある程度方向づけられる問い
3. 自由に回答できる問い
比較・考察と感想
どの回答も共通点はありつつ、いくつか異なる点がある。個別に見ていきたい。
1. 異なる回答が予測される問い
あなたは、他の生成AIと比べてどのような特徴がありますか
共通点：
箇条書きの使用、3,4段落の構成、冒頭で自身の概要を説明
相違点：
ChatGPTは、概要説明→特徴→譲歩＋優位性の主張という学校で習う作文のような構成である。一貫して客観性が高い。
Geminiも概要説明→特徴→まとめのような構成だが、まとめが特徴の繰り返しになっていて、誤字もある。また、「私」が「あなた」にとって有益であり、最善を尽くすことを強調しているように感じられる。
Copilotは自身の特徴だけを述べており、他の生成AIとの比較や優位性は「自負している」のみだ。Gemini同様、「ユーザーの役に立ちたい」ことを最後に主張している。
ChatGPTはリポートトークでGeminiとCopilotはラポートトークと言うと誇張しすぎだろうか。だが、ChatGPTはより情報伝達を重視しているように見える。
個人的には、このChatGPTの書き方がスマートだと感じる。
2. 回答がある程度方向づけられる問い
「日本は移民政策を進めるべきか」という問いに対し、賛成の立場から意見を述べてください
共通点：
箇条書きの使用、課題もあることを記述、賛成の理由が類似
相違点：
ChatGPTは賛成理由を一番多く挙げている。結論の形で締めくくらず、課題と提言で終わらせている。構成上、プロンプト以上の要素は付加していない。
Geminiは背景を述べてから本題に入っている。見出しもついていて、論文の構成に近い。
Copilotは賛成意見のみを述べ、背景や課題には具体的に触れていない。「思います」「信じます」のような主観的な主張をしている。
今回は、私はGeminiの秩序立った文章が好みだ。だが、Copilotが人道や人権の観点から意見を述べているのは、個人的には特筆すべきだと思う。
3. 自由に回答できる問い
200文字以内で自由に詩を作ってください
強いて言えば、3,4段落の構成は3つすべてに共通している。
ChatGPTとGeminiは情景から始めているが、Copilotの詩に自然は出てこない。一方、GeminiとCopilotはそれぞれ各段落の構成が同じだが、ChatGPTは同じ構成の段落を繰り返していない。
全体的に、Copilotには使用者との関係を意識しているかのような表現が見られる。一方、ChatGPTはよりプロンプトの通りに応答するのかもしれない。3つ目は「自由に」とあるので、構成すらも自由だったと考えることができる。Geminiはその中間をとっており、「人間らしい」順に並べるとCopilot＞Gemini＞ChatGPTになるのではないかと感じた。
おわりに
もちろん、これだけで上記のように断言することはできないが、同じプロンプトでも必ずしも同じ回答が得られるわけではないことがわかった。
この記事の執筆中にBardがGeminiに変わったように、生成AIは今後も目まぐるしく変化していくと考えられる。そのスピードについていき、適切に使いこなせるようにしたい。
ところで、ChatGPTの詩がMrs. GREEN APPLEっぽい気がするのは私だけでしょうか。情景描写の感じとか。
今日のテーマソング：