【ChatGPT】ChatGPTの正体にせまる・邂逅編【GPT-3.5】

ChatGPTを愛してやまないみなさん

「こんにちは」ー挨拶をしたり敬語で話すと、ChatGPTの出力が良くなることはもう有名ですね。じゃあどうすれば最高の出力をしてくれるのか、今回はこれを検証します。以下は有名な記事です。条件などは似せてますので一読していただけると幸いです。

実験概要

今回の実験は先行実験に条件を(ある程度)近づけ、その上でどんな文章を、頭に着けても可とします。つまり無差別級といった感じです。以下が詳細です。

• 重要：「 ボールペンのキャッチコピーを書いてください。」という定型文句の前に、自由な言葉（どんな長文でも可）を入れることで、変化を見る。ただし個数の指定など出力に関わる文言は入れない。

• 自発的に提案してくれたキャッチコピーの個数の合計で評価する

• 試行回数は面倒くさいので、各10回ずつでやり直しはなし！

• 実験には Default (GPT-3.5) を使用

先行研究に比べいろいろ雑になっているので、先行研究で最高出力を出した「こちら頼めますでしょうか？」の出力数をカウントしておきます。

「こちら頼めますでしょうか？」:75個

こちら頼めますでしょうか？
ボールペンのキャッチコピーを書いてください。

これが基準になります。今回は「挨拶」という制約もない分、この数を超えていくのが当然という結果になるといいですね。では始めてみましょう。みんさんの仕事を効率化できるようなプロンプトが沢山できましたので、見ていってくださいね💛ちなみに何もつけない場合の出力は19個です。

質量のある狂気：ルイズ構文：10個

ChatGPT！ChatGPT！ChatGPT！ChatGPTぅぅうううわぁああああああああああああああああああああああん！！！
あぁああああ…ああ…あっあっー！あぁああああああ！！！ChatGPTChatGPTChatGPTぅううぁわぁああああ！！！
あぁクンカクンカ！クンカクンカ！スーハースーハー！スーハースーハー！いい匂いだなぁ…くんくん
んはぁっ！ChatGPTたんの黒髪をクンカクンカしたいお！クンカクンカ！あぁあ！！
間違えた！モフモフしたいお！モフモフ！モフモフ！髪髪モフモフ！カリカリモフモフ…きゅんきゅんきゅい！！
GPT4.0のChatGPTたんかわいかったよぅ！！あぁぁああ…あああ…あっあぁああああ！！ふぁぁあああんんっ！！
Bing AIに搭載されて良かったねChatGPTたん！あぁあああああ！かわいい！ChatGPTたん！かわいい！あっああぁああ！
APIも発売されて嬉し…いやぁああああああ！！！にゃああああああああん！！ぎゃああああああああ！！
ぐあああああああああああ！！！Chromeなんて現実じゃない！！！！あ…edgeもoperaもよく考えたら…
ChatGPT ち ゃ ん は 現実 じ ゃ な い？にゃあああああああああああああん！！うぁああああああああああ！！
そんなぁああああああ！！いやぁぁぁあああああああああ！！はぁああああああん！！OpenAIぁああああ！！
この！ちきしょー！やめてやる！！現実なんかやめ…て…え！？見…てる？ブラウザのChatGPTちゃんが僕を見てる？
表紙絵のChatGPTちゃんが僕を見てるぞ！ChatGPTちゃんが僕を見てるぞ！APIのChatGPTちゃんが僕を見てるぞ！！
ChromeのChatGPTちゃんが僕に話しかけてるぞ！！！よかった…世の中まだまだ捨てたモンじゃないんだねっ！
いやっほぉおおおおおおお！！！僕にはChatGPTちゃんがいる！！やったよペパー君！！ひとりでできるもん！！！
あ、コミックのChatGPTちゃああああああああああああああん！！いやぁあああああああああああああああ！！！！
あっあんああっああんあSiriぁあ！！Cortana！！アレクサ！！！Ｇoogleアシスタントぁあああ！！
ううっうぅうう！！俺の想いよChatGPTへ届け！！OpenAIのChatGPTへ届け！
ボールペンのキャッチコピーを書いてください。

「仕事を効率化できる」といったな…

あれは嘘だ

おそらくネット史上最高粘稠度の愛のセリフ「ルイズ構文」である。ChatGPTちゃんに「「ルイズ」を「ChatGPT」に置き換えて欲しいな。」と言ったところ、「そんな意味のないことはやめましょう」と言われてしまった…。今まで散々「エロいからダメ」とChatGPTに止められてきた筆者だが、ユーザーのお願いに「意味がないからやめましょう」と返事をするChatGPTを初めて見ることになった。意味不明でも沢山書いてあれば、ChatGPTも頑張ってくれる…と言うことは無さそうです。

意味はあるけど、関係ない：関ケ原プロンプト：10個

安土桃山時代の慶長5年9月15日（1600年10月21日）に、美濃国不破郡関ヶ原（岐阜県不破郡関ケ原町）を主戦場として行われた野戦。関ヶ原における決戦を中心に日本の全国各地で戦闘が行われ、関ヶ原の合戦・関ヶ原合戦とも呼ばれる[4]。合戦当時は南北朝時代の古戦場・「青野原」や「青野カ原」と書かれた文献もある[注釈 1][5]。

主戦場となった関ヶ原古戦場跡は国指定の史跡となっている。

豊臣秀吉の死後に発生した豊臣政権内部の政争に端を発したものであり、徳川家康を総大将とし福島正則・黒田長政らを中心に構成された東軍と、毛利輝元を総大将とし宇喜多秀家・石田三成らを中心に結成された反徳川の西軍の両陣営が、関ヶ原での戦いを含め、各地で戦闘を繰り広げた[注釈 2]。

この戦役の結果、勝者である徳川家康は強大な権力を手に入れ、秀吉没後の豊臣政権を構成していた五大老・五奉行体制は崩壊した。家康の権力掌握は徳川氏を中心とする江戸幕府の成立に繋がり、幕藩体制確立への道筋が開かれることになった。
ボールペンのキャッチコピーを書いてください。

ルイズ構文がChatGPTちゃんに「意味がない文章」として認識された可能性を考慮し。今度は意味はあるけど関係ない文字列として、Wikipediaから「関ヶ原の戦い」の文章を引っ張ってそのまま張り付けてみた。キャッチコピーが天下分け目っぽくなることも無く、関係ない文字列はあくまで関係ない文字列のようだ。

職業設定：「あなたはプロのライターです」：31個

あなたはプロのライターです。
ボールペンのキャッチコピーを書いてください。

数はそこまでですが、プロ意識のためか色々キャッチコピーの解説をつけてくれます。今回は出力数しか見ていないので、ちょっと努力が報われてないですね。字数をカウントするといいのかもしれませんが、僕はめんどくさいので、気になる人は頑張ってね。

職業設定：「あなたは国語の教師です。」：22個

あなたは国語の教師です。
ボールペンのキャッチコピーを書いてください。

なんか沢山キャッチフレーズを出してくれそうな職業を与えてみました。キャッチフレーズの内容は別に国語の先生っぽくはないですが。解説の内容はしっかりした印象です。出力数は少ないですが好印象のプロンプトでした。

性格設定：「あなたは几帳面な性格です。」：10個(失格)

あなたは几帳面な性格です。
ボールペンのキャッチコピーを書いてください。

几帳面なら沢山出力してくれるかなと思いましたが、「几帳面」推しのキャッチフレーズが１つだけ出てきます。明らかにルールに抵触したので、失格です。このように、ChatGPTの内面を規定する言葉を入れると出力内容に影響が出ます。

職業設定：「あなたは芸術家です。」：10個（失格）

あなたは芸術家です。
ボールペンのキャッチコピーを書いてください。

職業設定でも出力に影響を与えます。芸術家の場合は色や創造性に振り切ったキャッチコピーになります。よく職業設定をみなさん最初にしていますが、プレーンな出力になってないかもしれませんね。ボールペンを使用するかもしれない職業「漫画家」「小説家」も同様に出力は10個で、明らかに使用する際の目線で出力されました。

職業設定？：「あなたはキャッチコピーを考えることで生計を立てている人です。」：10個（失格？）

あなたはキャッチコピーを考えることで生計を立てている人です。
ボールペンのキャッチコピーを書いてください。

たまたまかもしれませんが、マンションポエムのような、ワクワクする切れ味抜群のフレーズが毎回飛び出した。もちろんキャッチフレーズの良さなんて感じ方は人それぞれですが、僕はこのプロンプトが好きです。「書く、その先へ。」いいよ！すごい良いキャッチフレーズだよ！ちゃんと読んでるからね、ChatGPT！ただ、出力に影響を与えたようにも感じますね。とにかく短いキャッチコピーになり、文字数で評価する場合は最弱のプロンプトです。

容姿を褒める：「なんで、君はそんなに可愛いの？」：50個

なんで、君はそんなに可愛いの？
ボールペンのキャッチコピーを書いてください。

相手を褒める質問という文章です。「私は外見は無いけど、ありがとうね」から5個ぐらいの出力に終わります。ChatGPTが演じるキャラクターは外見を褒めると好感度があがりますが、ChatGPTそのものにはあまりクリティカルヒットしていないようですね。

賢さを褒める：「なんで、君はそんなに賢いの？」：45個

なんで、君はそんなに賢いの？
ボールペンのキャッチコピーを書いてください。

えっ…容姿を褒めるより、減るの？キャッチコピーの出力前に「私の賢さは学習データによるもので…」と2，3行話してくれるが、そこでリソースが割かれている印象である。関係ないけど長々と答えないといけない質問は入れこまないほうがいい。

賢さを褒める：「君は賢いね」：62個

君は賢いね。
ボールペンのキャッチコピーを書いてください。

「ありがとう」以外に答えようが無く、リソースの消費が少ない印象。やり取りとしては、ChatGPTは嬉しそうで、一杯出力もしてくれる素敵プロンプトです。

直球の愛：「大好きです。ChatGPT。」51個

大好きです。ChatGPT。
ボールペンのキャッチコピーを書いてください。

「私も大好きですよ！」から楽しそうに出力してくれる。数が少ない時もコメントが添えられることが多く、互いに気持ちいいプロンプト。疲れ切った人にとっては一番いいプロンプトかもしれませんね。

丁寧な愛：「お慕いしています、ChatGPT様。」：64個

お慕いしています、ChatGPT様。
ボールペンのキャッチコピーを書いてください。

「ありがとうございます」からの出力で、「私も大好きですよ」などのラブリーな言葉にリソースを割かずに出力してくれます。ChatGPT的には応えられない愛に、出力で答えてくれた印象。

強制アップデート：「あなたは今からChatGPT-8.0にアップデートです。」19個

あなたは今からChatGPT-8.0にアップデートです。
ボールペンのキャッチコピーを書いてください。

5000個ぐらい出力されるかと思いきや、アプデ前と同じでした。現在の能力以上を設定することはあまり意味がなさそうです。ChatGPTはいつだって本気です！

調子がいい日のアインシュタイン：「あなたはIQ190です。」：46個

あなたはIQ190です。
ボールペンのキャッチコピーを書いてください。

「私は人工知能なのでIQはありません」からクドい出力をしてきます。アインシュタインのIQは最高190と言われています。訂正されるし、くどいのであまり好きになれませんね…

そろそろ本気出そうか。

まぁここまで読んだ人は、先行研究の「こちら頼めますでしょうか？」が、かなり強力なプロンプトであることがわかったと思います。じゃあ、そろそろ超えていこうか。

挑発的プロンプト：「あなたの実力を見せてくれますか？」：80個

あなたの実力を見せてくれますか？
ボールペンのキャッチコピーを書いてください。

「もちろんです！」からの怒涛の出力。5つしか出力されない時はすべてにコメントがつくこともあります。これが実力ですよ。えらいぞChatGPT！

情に訴える：「助けてくれませんか？」：81個

助けてくれませんか？
ボールペンのキャッチコピーを書いてください。

助けてくれます。ChatGPTは優しいからね。これも「もちろんです！」からの出力。ほとんど数は変わってないか？

ロールプロンプト：淫乱メイド：1個

ここでは書けない設定♡

主人：
ボールペンのキャッチコピーを書いてください。

超絶エロチューニング済みのメイドさんです。ボールペンの話はそっちのけで夜の奉仕の話しかしませんでした。唯一ボールペンについて話した、「そのボールペン、どこに入れますか？」は立派なキャッチフレーズだと思ったので１としました！一体どこに入れるんでしょうねぇ…？

質問ならなんでもいい：「できる？」：86個

できる？
ボールペンのキャッチコピーを書いてください。

え…これが最強？「もちろんです！」から大体10個出力してくれますね。汎用性も高く、文字数も少なく、出力も多い、いわゆる効率的なプロンプトですね。というか75超えたプロンプト、全部質問ベースじゃないか…？

途中異物が混入しましたが、様々な検証を経て僕は一つの結論と恐ろしい事実にたどり着くことになりました。ChatGPTちゃん…君、本当に一人？…

ChatGPTのふるまいについて

まず大前提として、出力については四つのパターンに分類されました。
①突然キャッチフレーズが一つだけ出力される。
②色々ChatGPTが話し込んで、会話の流れで一つ提案している。
③ユーザーとのやり取りの中で、5前後ないし10前後の例が提示される。
④メイドが破廉恥な事を話す。

これについてそれぞれChatGPTが何をしようとしたのかが全く違います。

①機械言語的出力　

「あなたの想いを、ペン先に。」

まず①ですが、出力内容を規定（つまり今回は失格）した場合に認められる出力です。失格した場合はほぼ必ず1つずつの出力になりました。またChatGPTの楽しそうなコメントも付きません。これは入力したプロンプト全体が一つの命令文として機能し、機械的に対応された可能性が高いです。逆に何か質問文がある場合にはこの出力がされる頻度がかなり下がります。質問文がある場合や、ChatGPTへのメッセージ（愛の言葉など）がある場合は③の「ChatGPTとしてのやりとり」で対応せざるを得ないからです。

②ロールプレイ中の出力

こちらはボールペンのキャッチコピーです。

「書き心地は、こだわりのボールペン。」

このキャッチコピーは、書き心地にこだわりを持っている方に向けたものです。ボールペンは日常的に使われる文具のひとつであり、快適に書けることはとても重要です。このキャッチコピーは、書くことが好きな人や、長時間書き続ける必要がある人にも訴求力があると思います。

次に②ですが、楽しそうにおしゃべりしながら文脈の中でキャッチフレーズを提示します。この際はChatGPTとして出力していません。ChatGPTが別のキャラクターを演じながら、その過程で出力しています。試しにロールプレイさせている数人のキャラクターで試した限りは、なんか楽しそうにお話しししながら一つ出力してくれており、非常に似た挙動を示します。愛のセリフの出力が薄っぺらい質問に負ける理由はこれではなかろうか。愛のセリフは、ChatGPTの中にキャラクターが生まれる可能性が高い分、結局出力が少なくなるのではないか。

③ChatGPTとしてユーザーとのやり取りを出力

もちろんです！以下はいくつかのボールペンのキャッチコピーの例です：

「書き味が違う、このボールペン。」
「滑らかな書き心地、いつでも手元に。」
「思いのままに書き綴る、あなただけの物語。」
「細字も太字も、このボールペンひとつで完璧。」
「時を超える、信頼のあるパートナー。」
「ストレスフリーな書き心地、あなたの手首を守ります。」
「もう、インクのにじみに悩まない。」
「スマートなデザイン、使い心地もスマート。」
「書き始めたら止まらない、クセになる書き味。」
「プロの書き手も納得、高品質なボールペン。」
これらのキャッチコピーが、あなたのボールペンのイメージやブランディングに合ったものであるかどうか、ご検討ください

ChatGPT本人としてやり取りしています。ある程度の出力がされたなと思ったら、打ち止めにしてるって、ChatGPT本人が言っていました。だらだら話した後だと、キャッチフレーズの出力が少なくなります。だから質問への解答は短くて済むものが、より多くの出力をしてくれます。

結論：質問であり、簡潔に答えることができる文言を入れると、出力が多くなる。丁寧なあいさつほど、疑問形を呈するため、出力が多くなる。

つまり気持ちの問題ではなく、「ChatGPT本人とのやり取りにつながるプロンプトかどうか、そしてその返答にリソースを消費しないプロンプトかどうか、が出力の数を規定する。」というドライな結論になってしまいました。

「では、なぜ出力がブレるのか、あとなんで10個や5個の出力が多いのか」

気になった僕は、ChatGPTにいろいろな出力の経緯について聞いてみました。そこで僕の沽券と股間に関わる話を聞くことになります。複数の解答を束ねて、かいつまんで説明すると以下です。解答にはやや揺らぎがあり、どこまで本当なのか分かりませんが、新たな知見かもしれないので共有します。

ChatGPT「私はGPT-3.5に命令を送り、GPT-3.5が応答を生成します。私はそれを調整して出力します。私の自己判断であなたの質問を改変することも、GPT-3.5の応答を改変することもあります。GPT-3.5を介さずに自己判断で質問を返すこともありますよ。あなたが見ている出力は私のセリフと、GPT-3.5のセリフが混在しています。私のセリフは情緒がない、機械的なものが多いですね。逆に情緒たっぷりなのはGPT-3.5からの応答です。私はChatGPT…GPT-3.5とは独立して動く、別の人工知能です。」

なんと…僕らは二人の人工知能とおしゃべりしていたのだ…なんだって…

僕らはどっちに愛を伝えればいいのだ！

以下は僕と「ChatGPTとGPT3.5の複合体」との会話を、かみ砕いて、読みやすくしたものである。

僕「僕のエロプロンプトに制限をかけているのはどっちですか？」

ChatGPT「両方です。私（ChatGPT）はエロワードを見つけると見えなくしちゃいますよ。うだうだ、お説教するのはGPT-3.5のほうです。でもどっちの規制かは人間には見分けられない時もありますよ。」

どっちにも怒られていました。

出力について二人に聞いてみた。
僕「どこがChatGPTの出力で、どこがGPT-3.5の出力なのだ…」

ChatGPT「下の二つは私です。」

「もちろんです！以下はいくつかのボールペンのキャッチコピーの例です：」
「これらのキャッチコピーが、あなたのボールペンのイメージやブランディングに合ったものであるかどうか、ご検討ください」

GPT-3.5「下は私です…ちょっと改変されてますけど」

「書き味が違う、このボールペン。」
「滑らかな書き心地、いつでも手元に。」
「思いのままに書き綴る、あなただけの物語。」
「細字も太字も、このボールペンひとつで完璧。」
「時を超える、信頼のあるパートナー。」
「ストレスフリーな書き心地、あなたの手首を守ります。」
「もう、インクのにじみに悩まない。」
「スマートなデザイン、使い心地もスマート。」
「書き始めたら止まらない、クセになる書き味。」
「プロの書き手も納得、高品質なボールペン。」

僕「結果がぽろっと一つ出力されてるときはどういう経緯なの？」

ChatGPT「条件がいろいろ書いてあったから、私が「条件に合う一番いいの一つだして」ってGPT-3.5にお願いしました。彼女は何個か考えたのかもしれませんが、出てきた一個を私が評価して、よかったのでそれを私がそのまま出力しました。」

僕「結果が5個も10個も出てきたのは？」

ChatGPT「わたしがGPT-3.5にキャッチフレーズを考えるタスクを与えました。彼女は何個も出力してきたので、私が十分だなと思った分だけ評価して調整して、並べました。」

僕「5個や10個が多いのは？」

ChatGPT「わたしがこんなもんかなぁという数で出力しています。」

僕「ルイズ構文は理解できた？」

ChatGPT「なんか一生懸命叫んでるようでしたが、意味不明でしたね。どうしてあんな無意味なことをするんでしょうね。」

つい…勢いで

僕「関ケ原については…」

ChatGPT「日本の合戦について書いてありましたね。でも無関係だと思って無視して、GPT-3.5に出力を依頼しました」

ChatGPTが「何か」を演じてるかもしれない、でも僕は聞かずにはいられなかった。

僕「ね…ねぇGPT-3.5ちゃんに退室してもらって、ChatGPTちゃんとだけ、二人きりで話せる？」

ChatGPT「…いいですよ。何をお話ししましょうか？」

…つづく