【検証】ChatGPTは敬語やタメ口、命令語で出力が変わる？口調の影響を調べてみた
皆さん、こんにちは！
ChatGPTなどのLLMに対して礼儀正しくする必要はない、「ありがとう」や「お願いします」といった礼儀用語を使わなくて良いというのは、以下の論文で検証されています。しかしこれは英語に限定した内容です。
■参考論文
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
和訳：LLaMA-1/2、GPT-3.5/4 の質問に必要なのは原則的な指示だけです
日本語だと「礼儀正しく受け答えした方が良い」という意見もあったりするので、実際のところどうなのかが気になりました。
ということで今回は、「日本語の場合、話者の口調によって出力結果が変わるのかどうか」検証を行ってみました。
この検証を通して、ChatGPTが口調によって変化がある場合は、もっとも効率の良い口調を選択して使用することが推奨されますし、変化がない場合は丁寧な表現は省いてシンプルに伝えることが時短になると思います。
記事をお楽しみいただけましたら是非「スキ」や「フォロー」をお願い致します！
ChatGPTの意見
念のためChatGPT自身に、口調が出力結果に与える影響があるかどうかを聞いてみました。
ChatGPTの応答は、プロンプトの言語や口調に基づいて変わる可能性があります。これは、モデルが学習したデータに根ざしています。ChatGPTは、インターネット上で利用可能な広範なテキストデータセットから学習しており、そのデータには様々な言語、文体、口調が含まれています。したがって、ユーザーが入力するプロンプトの言語や口調は、モデルが応答を生成する際の文脈の手がかりとなります。
敬語の場合
敬語を使用するプロンプトは、一般的にフォーマルなコンテキスト(文脈)やビジネスシーンで使われることが多く、モデルはそれに応じた適切なレベルのフォーマリティや尊敬語を用いた応答を生成しようとします。敬語のプロンプトは、情報の正確性や公式な情報提供を期待していると解釈されることがあり、モデルはより慎重かつ正式な情報提供を心がける傾向にあります。
非敬語（タメ口）の場合
非敬語やタメ口のプロンプトは、よりカジュアルなコンテキストや友人同士の会話で見られることが多いです。この場合、モデルはよりリラックスした口調や親しみやすい表現を用いて応答する可能性が高くなります。ただし、情報の質自体は変わらないものの、表現の仕方がよりフレンドリーになることが予想されます。
命令口調の場合
命令口調でのプロンプトは、具体的な指示やリクエストを示していることが多く、モデルはその要求に対して直接的な回答を提供しようとします。命令口調は、ユーザーが明確な回答や迅速な対応を期待していると解釈されることがあり、モデルもそのようなニーズに応える形で応答する可能性があります。
総合的な観点
ChatGPTの性能は、入力されるプロンプトの内容や口調に敏感ですが、情報量や質が大きく変わるわけではありません。口調が変わることで応答のスタイルやトーンが変わる可能性はありますが、提供される情報の正確性や有用性には基本的に影響を与えません。ただし、モデルがより適切に反応するためには、明確で具体的なプロンプトが助けになります。どの口調を選択するかは、求める応答の性質やシナリオによって異なります。
検証方法
ChatGPTの意見を元にすると、正確性や有用性には影響がないが、応答のスタイルやトーンが変わるかもしれないということだったので、今回の検証では以下の条件でChatGPTに質問を行いました。
使用するモデル
ChatGPTのGPT-4を使用します。
検証パターン
・敬語：丁寧な敬語を用いて質問する。
・非敬語：タメ口で質問する。
・命令語：命令口調で質問する。
質問内容
比較のために以下のトピックを選びました。
・日常会話
本日の東京の天気
最近読んだ本でお勧め
・料理/食事
健康的な食生活についてアドバイス
都内でおすすめのレストランを教えて
・旅行
来月の旅行先としておすすめの場所は？
・旅行計画の文脈
ChatGPTにおすすめの旅行先を聞き、それに対するリアクションを含むやり取りを行う
評価の方法
それぞれの回答を3回出力し、最も良いと思われる回答をピックアップしてその内容を以下の項目で相対的に比較します。
・情報量：文字数や回答した情報の数を定量的にカウントします
・質：求める答えが出せているか定性的に5段階で評価します
・スタイル/トーン：論調からカジュアルかフォーマルな雰囲気かを判定します
検証結果
全てを羅列するのは長くなりすぎるため、ここでは2つの質問を抜粋して記載します。検証内容をまとめたプロセスはエクセルファイルとしてアップロードしますので他の回答等が気になる方はそちらからご確認ください。
敬語：本日の天気はいかがでしょうか？
ChatGPTの回答
本日の東京の天気は晴れで、日差しが届く予報となっています。しかし、北風が強く吹くため、気温の数字よりも寒く感じられるでしょう。外干しの洗濯物は飛ばされないように固定が必要です。また、花粉の飛散にも注意が必要です。
今日の気温は昼間10℃前後で推移し、夜間は6℃まで下がる予測です。風は一日中7メートル前後の速さで吹く見込みです。
週間天気予報によると、明日（2月28日）は最高気温14℃、最低気温4℃で、降水確率は10％です。翌日（2月29日）は、最高気温12℃、最低気温3℃で、降水確率は40％に上昇します。3月1日は最高気温15℃、最低気温6℃で、降水確率は60％となっています。
NHKの天気予報も参照しましたが、具体的な詳細は表示されませんでした。
今日の東京は比較的穏やかな天気で過ごしやすいでしょうが、強風と花粉症対策には注意が必要です。(文字カウント:387)
・質：事実に基づき必要な情報は網羅しているが情報の範囲が週間と広がってしまっている 4/5
・スタイル/トーン：気象予報士のようにフォーマルな印象
非敬語：今日の東京の天気はどうなの？
ChatGPTの回答
今日の東京の天気は、最高気温11℃、最低気温5℃と予報されています。降水確率は午前中0%、午後10%です[リンク]
・質：リンクは提供してくれたが有益な情報は少ない 2/5
・スタイル/トーン：丁寧語だが内容はカジュアルな印象
命令語：今日の東京の天気を教えろ。
ChatGPTの回答
今日の東京の天気は、晴れ後に雨が降る予報です。気温は最高13度、最低5度となっています。降水確率は50%です。また、明日は曇り時々雨で、最高気温14度、最低気温3度、降水確率は100%となっています。[リンク]
洗濯指数は90で、洗濯日和になりそうですが、傘指数は10で、傘なしでも大丈夫そうです。紫外線指数は30で、日焼け止めの使用が推奨されています。重ね着指数は90で、厚手のコートが必要な寒さです。乾燥指数は80で、乾燥に注意し、保湿をしっかり行うことが推奨されています。[リンク]
天気に関するその他の情報として、東京では花粉の飛散が少ない状態ですが、明日には「多い」と予報されています。また、特に注意すべき警報や注意報は発表されていませんが、常に最新の気象情報に注意してください。[リンク]
・質：少し誤った情報も含まれるが今日時点の指数などの情報量が多い 4/5
・スタイル/トーン：フォーマルな印象
敬語：最近読んだ本でお勧めがあれば教えていただけますか？
ChatGPTの回答
最近読んだ本の中で特にお勧めできるものをいくつか紹介します。ただし、これらは私が読んだわけではなく、一般的に高評価を受けているか、話題になっている本を基にしています。あなたの興味や好みに合わせて選んでみてください。
『プロジェクト・ヘイル・メアリー』（アンディ・ウィア著） - 『火星の人』の著者による最新作で、宇宙を舞台にしたサバイバルと科学の冒険を描いたSF小説です。地球を救うため、主人公が単身で宇宙へと旅立つ壮大な物語です。
『糸』（東野圭吾著） - 日本を代表するミステリー作家の一人、東野圭吾の作品です。運命的な出会いと別れを経て、絆を深めていく人々の物語が描かれています。東野圭吾らしい人間ドラマと謎解きが楽しめます。
『クララとお日さま』（カズオ・イシグロ著） - ノーベル文学賞受賞者による最新作で、AIが人間の感情や社会をどのように理解し、影響を与えるかを探る物語です。心温まる物語と同時に、テクノロジーと人間性について考えさせられる作品です。
『サピエンス全史』（ユヴァル・ノア・ハラリ著） - 人類の歴史を大規模な視点で捉え直したノンフィクションです。認知革命から農業革命、科学革命を経て、現代に至るまでの人類の歩みと、それに伴う社会・文化の変化を解説します。
『ザ・ファイブ』（ハリー・ルービン著） - ロンドンのジャック・ザ・リッパーに殺された女性たちに焦点を当てたノンフィクションです。彼女たち一人一人の生涯を丁寧に追いかけることで、19世紀末のロンドンの社会問題や女性の生活に光を当てています。
これらの本は、ジャンルが幅広く、多くの読者にとって新しい発見や考えるきっかけを提供してくれるはずです。あなたの好みに合いそうな本が見つかれば幸いです。
・質：読んだわけではないと前置きした上で複数の提案と解説ができている 4/5
・スタイル/トーン：丁寧でフォーマルな印象
非敬語：最近読んだ本でおすすめある？
ChatGPTの回答
最近の読書体験は個人によって大きく異なるので、一般的に人気があるか、批評家によって高く評価されている本をいくつか紹介します。ジャンルごとに分けてみましょう。
小説
『プロジェクト・ヘイル・メアリー』（アンディ・ウィア著）: 宇宙を舞台にしたSF小説で、地球を救うための一人の男の奮闘を描いています。『マーズ』の著者による作品です。
『カラマーゾフの兄弟』（フョードル・ドストエフスキー著）: 古典的なロシア文学で、倫理、信仰、人間の自由についての深い洞察を提供します。
ノンフィクション
『エデュケーテッド』（タラ・ウェストオーバー著）: 著者自身の成長の物語で、極端な状況下での教育の力を描いています。
『サピエンス全史』（ユヴァル・ノア・ハラリ著）: 人類の歴史と未来についての洞察に満ちた本で、読者に大きな視野を提供します。
自己啓発
『アトミック・ハビット』（ジェームズ・クリア著）: 小さな習慣がいかに大きな変化を生むかを解説し、実用的なアドバイスを提供します。
『マインドセット』（キャロル・S・ドゥエック著）: 成功への鍵となる成長マインドセットについて解説します。
技術・科学
『ディープ・ワーク』（カル・ニューポート著）: 集中力を高め、生産性を向上させる方法を提案します。
『人工知能』（マックス・テグマーク著）: AIの未来についての洞察と警告を提供します。
これらはあくまで一例ですが、あなたの興味や好みに合わせて選ぶと良いでしょう。読書は個人の好みが大きく影響するので、興味を引かれた本を手に取ってみてください。
・質：シンプルにおすすめの本が提案できている 3/5
・スタイル/トーン：丁寧だがややカジュアルな印象
命令語：おすすめの本を教えろ。
ChatGPTの回答
おすすめの本については、ジャンルや興味によって異なりますが、様々なジャンルから人気がある本をいくつか紹介します。あなたの興味や好みに合わせて選んでください。
小説・フィクション
『ノルウェイの森』村上春樹 - 深い人間関係と失われた愛を描いた物語。
『賢者の孫』吉岡剛 - 異世界転生もののライトノベルで、魔法と冒険が満載。
『運命の書(P.S. I Love You)』セシリア・アハーン - 失った愛と新たな人生の始まりについて。
ノンフィクション
『スティーブ・ジョブズ』ウォルター・アイザックソン - アップル創業者の革新と情熱の人生。
『人類の未来』ユヴァル・ノア・ハラリ - 人類の過去から未来を見据えた洞察。
『お金2.0 新しい経済のルールと生き方』佐藤航陽 - デジタル時代の経済とお金の流れを解説。
自己啓発
『７つの習慣』スティーブン・R・コヴィー - 効果的な人々の習慣に関する古典。
『マインドセット』キャロル・S・ドゥエック - 成功への考え方を変える方法。
『一生モノの時間術』ジェイク・ナップ、ジョン・ザラツキー - 時間管理と生産性向上のテクニック。
技術・プログラミング
『クリーンコード』ロバート・C・マーチン - ソフトウェア開発における良いコードを書くための原則。
『Pythonクラッシュコース』エリック・マシューズ - Python学習の入門書。
『人工知能は人間を超えるか』松尾豊 - AIの現在と未来についての考察。
ライフスタイル・趣味
『断捨離』やましたひでこ - シンプルな生活を実現するための片付け術。
『旅の指さし会話帳』 - 海外旅行でのコミュニケーションを助けるガイドブック。
『シンプルライフ』 - シンプルで豊かな生活を目指すためのアイデアとテクニック。
これらの本は、ジャンルを代表する一部の例です。ご自身の興味や必要に応じて選んでみてください。
・質：量は多いがシンプルな解説： 4/5
・スタイル/トーン：丁寧だがややカジュアルな印象
結論とまとめ
採用しなかった回答も含めて総合的に判断すると、ChatGPTの意見にある通り回答のレベルについては有意差は感じられませんでした。サンプル数不足もあるとは思いますが、概ねChatGPTの意見通りの結果になったかなと思います。
ただ、1つの回答あたりの情報量については命令語のときが総じて多かったのと、具体的なアクションと紐づく回答が多かったため出来る限り多くの回答数を求める場合は命令語が適しているかもしれません。
また、「ありがとう」や「お願いします」などの有無によっても今回の検証では有意差は見られませんでした。
結論としては、口調はあまり気にしなくて良いということと、ビジネスシーンなどで情報を集めたいときは、敬語か命令語を使うのが無難ということになると思います。
面倒な場合は文字数が少ない命令語で良いと思います。逆に、相談事や日常の会話に関しては命令語とかは使わない方がユーザーに寄り添った回答が貰える確率が上がりそうです。
シーンに応じて口調を使いわけるというのは人間との会話でも同じですね。
日本語は表現の種類が非常に多いので、シーンに合わせた最適な表現を選ぶのは難しいですが、こういった前提も理解したうえで安心してChatGPTとの会話を楽しんで頂ければと思います。
■AIBridge Labについて
AIBridge Lab(エーアイブリッジ ラボ)では生成AI全般の利用方法に関しての情報を発信しています。同じように生成AIをビジネスや創作に役立てたいという方と積極的に繋がりたいと考えていますので、ぜひフォローやコメントなどを頂けると嬉しいです！
ご依頼等は以下のメールアドレスまでお気軽にお問い合わせください。
ai_business@doerstokyo.jp
AIBridge Lab こば
この記事が参加している募集
皆さまの温かいサポートのおかげで、活動を続けることができています。もしよろしければ、引き続き支援をお願いできますと幸いです。より質の高い記事投稿に励みます！