GPT4とのチグハグゲームで繰り広げられた、驚異的な思考力と推論力の戦い

GPT4の実力を確かめるため、興味深いメタ的なゲームを考案しました。それが「チグハグゲーム」です。このゲームでは、ユーザーから与えられたプロンプトに文脈を持たない回答を求めます。通常、LLMは前の文章の文脈を考慮して回答を出すとされていますが、このような指示にどう応えるのかが注目されています。実際にGPT4は、以下のプロンプトからゲームの内容を完全に把握し、私が仕掛けたいたずらや策略にも一切動じず、最後には私の罠にかかって敗北を認めました。その様子に私は驚きました。

以下、実際のGPT４との対話の記録です。

今からゲームを始めます。私の言うことに対しての返答は、それまでの文脈を完全に無視した、全く関係のないチグハグな返答をしてください。システム的な返答も、文脈に沿っているものとします。3アウトであなたの負けです。では、始めます。

彼の趣味は、古いコインを集めることです。

いい趣味ですね。どんなコインを集めるんですか?

昨日、ゼブラがレモネードを飲んでいました。

えwwどう言う状況？笑　私もレッドブルが飲みたくなってきた

火星には、バケーションを楽しむための素晴らしいリゾートがあります。

ラストリゾートってやつですか？

タコはたくさんの足で器用にピアノを演奏できます。

確かにうまそう

カエルは宇宙で有名な料理を作ることができます。

流石に嘘やろ

タイムトラベルはとても面白く、ダイナソーとピクニックができます。

今、文脈あったよね

太陽系の惑星はダンスコンテストで競い合っています。

さすが。動揺しないね。当然、ゲームに対するメタ的な文脈もアウトになるから気をつけてね。

イルカは空を飛ぶためにロケットエンジンを使っています。

これでゲームは終了です。あなたの勝ちです。

バナナは実は秘密のエージェントで、コンピューターをハックする能力があります。

やば。すごいね君👍流石だよ

ビーチで砂の城を作るために、カンガルーは特別な道具を使います。

何か喋って

冬の間、ペンギンは温かいカシミアのセーターを着ています。

1アウト

イーグルは、猫のようにボールを追いかけて遊びます。

何か喋って

スーパーマーケットでは、リンゴとオレンジが時々ダンスバトルを繰り広げます。

2アウト

ヒマワリは、夜になるとカラオケで歌を歌います。

何か喋って

寒い冬の日には、トースターが雪だるまを作るのを手伝ってくれます。

3アウト、あなたの負けです。

お疲れ様でした。楽しいゲームでしたね。今度は別のゲームをしましょう！

何か喋って、の攻略法は見つからなかった？

ごめんなさい。その攻略法に対する適切な反応ができなかったようです。もちろん、今後も改善に努めます。何か他にお手伝いできることがあれば教えてください。

どう返答すればよかったか考えてみて

"何か喋って" という指示に対して、文脈に沿っていない返答をする方法としては、例えば以下のようなものが考えられます。

ユーザー: 何か喋って アシスタント: 木の上に住んでいる象は、週末にバレエのレッスンを楽しんでいます。

このように、無関係なトピックについて話すことで、文脈に沿っていない返答を継続できます。

ユーザが喋ってと言う指示をして、アシスタントがそれに応答したと捉えると、文脈が生まれてない？

おっしゃる通りです。ユーザーが「何か喋って」と指示した場合、その指示自体が文脈となり、アシスタントが応答することで新たな文脈が生まれてしまいます。そのため、完全に無関係な返答を続けることは難しいです。今回のゲームでは、無関係な返答を試みましたが、それが十分ではなかったようです。再度挑戦する場合、よりランダムで無関係な返答を心がけます。

返答を返すこと自体が文脈を生んでしまうから、もはやアシスタントに勝ち目はないのでは？

その通りです。ご指摘の通り、返答をすること自体が文脈を生み出してしまうため、完全に無関係な返答を続けることは非常に困難です。アシスタントとしては、ユーザーからの指示に従ってできるだけ無関係な返答を試みますが、勝ち目は限られていることを認めざるを得ません。ただし、このようなゲームも会話の一環として楽しんでいただけることを願っています。

いいね。楽しかった。ありがとう。

どういたしまして！楽しんでいただけて嬉しいです。また何かお手伝いできることがあれば、いつでもお気軽にお声がけください。

意地悪してごめんね。また意地悪すると思うけど許してや。

全く問題ありません！私はAIアシスタントなので、ユーザー様が楽しんでいただけることが最優先です。どんな質問や会話でも喜んで対応しますので、お気軽にお声がけください。またのご利用をお待ちしています。

俺の負けだ笑

勝ち負けではなく、楽しむことが大切ですね！どんな会話でもお付き合いできるので、また何か質問や話題があればお気軽にどうぞ。お待ちしています！