[追跡研究] Claudeは ChatGPTを凌いでいるのか？
I'm drowning!
以前の記事で ChatGPTに何が面白いのか尋ねてみた英語の小話について、Claudeにも同じ質問を投げかけてみました。
ガリレオ：次の文章はどこが面白いのですか？
Guard: You there! It's forbidden to swim here!
Man: I'm not swimming, I'm drowning!
Guard: Oh, then it’s no problem.
Claude：
この小話には大きく分けて2つの面白い要素があると思われます。
1. 言葉遊び/言葉の濫用
男性が「溺れている」と言ったときに、守衛は文字通りその言葉を受け取り、泳ぐことは禁止されていても溺れることは問題ないと解釈しています。この言葉の意味をあえて曲解したところに、一種の言葉遊びのユーモアがあります。
2. 常識の裏返し
通常、誰かが溺れているのを見かけたら助ける必要があります。しかし守衛はそれを放置し、かえって許可するという態度を取っています。この常識を逸脱した振る舞いに、予想外の展開と皮肉からくるユーモアがあります。
つまり、的確な言葉遊びと、常識を逆手に取った意外性の組み合わせが、この短いやりとりをユーモア溢れるものにしていると言えるでしょう。聞く人を驚かせつつ、言葉のトリックに気づかせるところに、この小話の面白さの核心があるように思います。
やるやん(￣∇￣)
ChatGPTの回答が「ちょっと何言ってるかわからない」状態だったのに対し、Claudeは「守衛が文字通りの解釈しかしていない」・「溺れているのならば助けることが期待される」といったポイントを押さえており、ChatGPTを凌ぐという定評はダテじゃないという印象はあります。
Claudeの方が「より人間らしい」理解力を持つという評価もなされているようですが、その人間らしさの一因を言語学者的に説明すると、語用論 (Pragmatics)に関わる推論能力に長けているという言い方ができます。
Coffee would wake me up.
そこで、語用論研究の中で有名な例文を Claudeと ChatGPTに分析してもらいました：
A: Would you like some coffee?
B: Coffee would wake me up.
この会話において、Bの発話の意図は、前提とする文脈に応じてあいまいになります：
(1) 寝る前にコーヒーを飲むと眠れなくなるので、いらない。
(2) 勉強や仕事をする必要があるので、眠気を覚ますためにいただく。
果たして AIは、このような語用論的な推論を行うことができるのでしょうか？
Claude：
B's response "Coffee would wake me up" is ambiguous and could have multiple interpretations, depending on the context. Here are the possible interpretations:
1. Accepting the offer:
In this interpretation, B is acknowledging that coffee would have the desired effect of waking them up, implying that they would like to have coffee. This interpretation could be likely if B is feeling tired or sleepy and needs a boost of energy.
2. Declining the offer:
Alternatively, B's statement could be interpreted as a polite way of declining the offer of coffee. By saying "Coffee would wake me up," B might be suggesting that they do not want to be awake or energized at the moment, and therefore, they do not want coffee.
3. Seeking clarification:
B's response could also be a way of seeking more information or clarification from A. By stating the effect of coffee (waking them up), B might be asking A to confirm if that is the intended purpose of offering coffee at that particular moment.
Without additional context or non-verbal cues, it is difficult to determine the exact interpretation of B's response. The tone, timing, and surrounding circumstances would provide more clarity on whether B is accepting, declining, or seeking clarification about the offer of coffee.
In summary, the possible interpretations are:
1. Accepting the offer (if B wants to be awake/energized)
2. Declining the offer (if B does not want to be awake/energized)
3. Seeking clarification about the purpose of offering coffee
せっかくなので日本語の要約もしてもらいました：
Bの返事「コーヒーなら目が覚めるね」は、以下の3つの解釈が可能です。
1. 提案を受け入れる (Bが覚醒を望んでいる場合)
2. 提案を断る (Bが覚醒したくない場合)
3. 提案の意図を確認する
具体的な文脈がなければ、Bの本当の意図を判断するのは難しいでしょう。
ところどころ日本語訳が不自然に感じられる箇所もありますが、Bの発言の解釈については文脈理解も踏まえて適切に行えているという印象です。
3として挙げられている内容について補足すると、
A: コーヒーでもどう？
B: （こんな時間に本気で言ってんのかよ）コーヒー飲むと目が覚めるじゃん。
…といったように、なぜそのタイミングでコーヒーを勧めてきたのか Aの意図を問い返すもので、確かにその可能性も考えられるでしょう。
ChatGPT：
In the given conversation:
A: Would you like some coffee?
B: Coffee would wake me up.
There are a few possible interpretations:
1. B is accepting the offer: In this interpretation, B is affirming that coffee would have the effect of waking them up. The context suggests that B does want coffee and believes it would be beneficial for them.
2. B is declining the offer: Here, B is stating that they don't need coffee to wake up because they believe it would have that effect but don't necessarily want or need it. This could be in a context where B already feels awake or doesn't want coffee for other reasons.
3. B is expressing uncertainty or neutrality: B's response could also be interpreted as a neutral or uncertain statement. It doesn't definitively accept or decline the offer but rather acknowledges the potential effect of coffee on waking them up without committing to either choice.
The interpretation would largely depend on the tone of voice, body language, and prior context of the conversation.
日本語で要約してもらった結果はこちら：
Bは、コーヒーが目を覚ます効果があると認めているが、具体的にはオファーを受け入れるかどうかははっきりしていない可能性があります。そのため、コーヒーを受け入れているとも、拒否しているとも解釈できます。
回答内容を全部まとめてしまったせいで、そもそも結論がズレてしまっているのですが…1と2については一定の評価は可能という印象。1ではコーヒーの覚醒作用が beneficialであると考えている点、2では「既に目が覚めているか、他の理由でコーヒーはいらない」という文脈も踏まえられています。
しかし気になるのは回答3の内容で、それに従えばAとBの会話は：
A：コーヒーでもどう？
B：コーヒーには覚醒作用があるんだよ(￣∇￣)b
…Aの立場なら「いや、それでどっちだよ!?」とツッコミたくなります。
以上のことから、やはり語用論的な推察能力という観点からは、ChatGPTよりも Claudeの方に分があると言えるでしょう。
考察
ただし、本記事では「Claude > ChatGPT」と結論づけたいわけではありません。あくまでも、より人間っぽいやり取りが可能であると思われている Claudeについて、言語学の視座から背景となる要因のひとつを語るならば、語用論的推論能力というキーワードに関わる処理能力に強みがあることを示唆するものです。
使い分けの基準を考えるならば、生成AIに対して「明確にこれをやってほしい！」というタスクが決まっているならば、ChatGPTの方が優れている部分がある可能性も充分に考えられます。他方、Claudeの「察する力」を活かすならば、対話の中でアイディアを生み出したり明確化していきたい場面で使いやすく感じるかもしれません。
ガリレオ個人的には、人工言語に基づいた言オリ的なパズルを作問する実験を行っているのですが、そのタスクでも Claudeの方が「気が利く」感じはしていますね。
おまけ：風と桶についても考えてもらった。
Claude
ChatGPT
Gemini
この記事が気に入ったらサポートをしてみませんか？