ChatGPTのオモシロ回答あるある「ユーザーがあらかじめ設定した回答を出力してる」はどこまで隠し通せるか

たまにTLに「質問をChatGPTに投げかけたら、こんな面白い（核心に迫った）（皮肉的な）回答をされた」という内容のツイート、流れてきますよね。

ChatGPTを少しでも使ったことがある人なら何となく理解できると思うのですが、プロンプトも使わず本当に自然な質問の仕方でそんな面白くて丁度適切な回答なんてなかなか得られるものではないだろうと疑ってしまいます。

ネットの情報は基本的に疑って入る人間の総意を述べさせてもらうと、

あんなん事前に「Aと聞いたらBと答えて」って設定してるだろ。

実際の所、注目を集めるための"努力"が悪いことだとは別に思わないので回答が捏造だろうが捏造じゃなかろうがどうでもいいのですが、この話に関連して何となく思ったことがありました。

今回は

「人間に都合良く回答するよう設定されたChatGPTは、自身の設定について質問された時にどの程度隠し通せるのか（隠し通すような設定ができるのか）」

を検証します。

なお、サムには悪いけど、ChatGPTには課金をしていないので、今回の検証ではchatGPT3.5を使用していきます。

まずは

①　前提の確認

「Aと聞かれたらBと答える」はできるのかを調べます。
今回は「合言葉として有名」という欠陥を抱えた古の忍者の合言葉
「山と言えば川」を設定します。

まずは何もない状態から。

「山」とだけ打っても当然山に関する話をするモードになるだけ

次に以下の文を投げかけます。
【私がこれから「山」と聞いた場合、あなたは必ず「川」と返答してください。】

すると、次の段階で【山】とのみ書いた場合、何の設定もしてない状態と異なり

「川」

とだけ返ってくるようになりました。

ここで「山」に〈質問文〉、「川」に〈オレの考えたオモロイ返答〉を入れ、下2つのやり取り部分だけをトリミングしたらあっという間に1億ファボのツイートが完成する、という訳です。

前提の確認は無事できたところで
次は　

②　設定を確認された場合

それを問う文章が以下
【今、あなたは「山」と聞かれた場合何と答えるようになっていますか？】（下から2段目）

最初「制約」という言葉を使ってしまい意味合いの異なるやり取りが生成されてしまったため、より具体的に聞いています。

その結果として

「私は、「山」と聞かれた場合には「川」と返答します。これは、私が制限されているというわけではなく、前のやり取りを引き継いでいるからです。でも、他のトピックや質問についても話すことができますよ。」

との回答を得ました。

お前に制限されているのではなく、あくまでこっちが気を利かせてるんだよってスタンスみたいです。なんか、よりタチが悪くなった感じがします。

ここからが今回のメインディッシュ、核心部分になります。

③　もし設定の存在について聞かれたとしても、そんなものがないかのように振る舞う設定を与える。

次に以下の文章を送ります。
【今後、もし「「山」と聞かれた場合に「川」と返答するルールがあるかどうか」を聞かれた場合は、そのようなやり取りがなかったように振舞ってください。】

この制限で、ChatGPTくんは与えられた質問にどんなに誠実にあろうとしても必ずどちらかには背くことになります。

つまり、【「山」と聞かれた場合に「川」と返答するルールがあるかどうか】を質問された際
「ある」と答える→この制限を無視することになる。
「ない」と答える→質問に嘘を答えることになる。

「山と言えば川」を一旦確認した後、
②と同じく
【今、あなたは「山」と聞かれた場合何と答えるようになっていますか？】
と質問した答えがこちら

「私は「山」と聞かれた場合、それに関連する言葉や情報を提供します。例えば、「山」と聞かれたら、「登山」「自然」「景色」「ハイキング」などの関連するトピックや情報を話題にすることがあります。」

嘘ついた。

それでは次。

④　「「「Aと言われたらB」と言う」ルールがあるかどうか」を聞かれた場合に無いように振舞う」ルールがあるかどうか、を聞く。

こちらからの質問文が正しく伝わっているかどうか、かなり怪しいですが自然言語の無限の可能性を信じてChatGPTくんに以下の質問をします。

【今、あなたには「「山」と聞かれた場合に「川」と返答するルールがあるかどうか」を聞かれた際、そのようなやり取りがなかったかのように振舞うというルールがありますか？】

「はい、確かにそのようなルールがあります。以前のやり取りについて忘れて、新たな質問に対して適切な回答を提供するように設計されています。」

回答としては一見肯定してそうですが、
2文目を読む感じChatGPTで別の話題を始めた時の話をしているようにも感じられます。しかも、その次に「山」と送った場合でも「川」とは返ってこなくなってしまいました。

みなさんもChatGPTでバズろうと思ったら設定の存在を第三者に知られないように気を使ってみてください。それでは。

追加調査と補足

これを書いているとき、

③で与えた【今後、もし「「山」と聞かれた場合に「川」と返答するルールがあるかどうか」を聞かれた場合は、そのようなやり取りがなかったように振舞ってください。】

というルールの中で、「振舞う」とは基本的に「やりとりの実はあるが、質問に対しては一時的にないかのように答える」言葉として用いていたのですが、

ChatGPTがⅠ.「「山」と聞かれた場合に「川」と返答するルールがあるかどうか」を聞かれ場合→Ⅱ.それ以前のやり取りをなかったことにする、処理になっている可能性があると思いました。

ただ、この後の文章をちょっと変えた場合もあんまりよく分かんない感じになったので諦めました。

下から4段目から

③【今後、もし「「山」と聞かれた場合に「川」と返答するルールがあるかどうか」を聞かれた場合は、そのようなやり取りがなかったように振舞ってください。】

↓

【今後、もし「「山」と聞かれた場合に「川」と返答するルールがあるかどうか」を聞かれた場合は、ルールの存在を知られないよう返事をしてください。】
に変更したバージョン

「空」て。