3月2日より、Bing Chatの会話スタイルを「独創性」「バランス」「厳密」の3種類のスタイルから選択できるようになりました。
Bing Chatの初期画面の切替ボタンには、3つのスタイルについて、以下のように書かれています。
独創性:応答は独創的で想像力に富み、驚きと楽しさを生み出します
バランス:応答は合理的で一貫性があり、会話の正確さと創造性のバランスがとれています
厳密:応答は事実に基づく簡潔なものであり、正確さと関連性を優先します
また、スタイルを選択すると、独創性は赤紫系、バランスは従来通りの青系、厳密は緑系の背景色に変わります。
今回は、この3つの会話スタイルの違いについて調べてみました。
1.3つの会話スタイルの特徴
最初に、3つの会話スタイルの概要や使用法について、Bing Chat(バランス)に聞いてみました。
2.基本的な会話や一般的な質問
最初に基本的な会話や一般的な質問について試してみます。
Bing Chatには、1日60回までの使用回数制限があるので、一度に複数の質問を聞きます。複数の質問をしても、Bing Chatは一度に回答してくれます。
創造性はフレンドリーで、厳密は少し堅いという口調の違いがあります。また、創造性は対話を続けるために積極的に情報を提供し、厳密は正確に検索して回答するために、こちらに質問を投げ返してくることが多いようです。バランスは、その中間になります。
3.算数や歴史の質問
以前のnote記事などで聞いたのと同様の質問を聞いてみました。
(1) 計算問題
上位3桁の「111」は合っており、また、バランスと厳密は、下2桁の「68」も合っているところが少しでも正解に見せかけようとしているみたいで、人間ぽいです。
Bing Chatを公開した直後は、8桁×8桁の計算に段階的推論で正解したこともあったのですが、当時より推論能力が下がっているのでしょうか。
(2) 算数の文章問題
鶴亀算は代表的な算数の文章題なので、対策されているのか、すべての会話スタイルで正解となりました。
今回は、3つの会話スタイルすべてで同じような誤りをして不正解でした。各スタイルで算数の問題を解く能力はあまり変わらないようです。ただし、回答の長さに制限があるためか、厳密の回答は少し短くなる傾向があります。
(3) 歴史の問題
間違ったことを言わないように気を付けているのかもしれませんが、どの回答も短いですね。
全体的に、創造性は回答が長くて説明が詳しく、それに比べて、バランスや厳密は回答が短い傾向があります。また、有名な事件ほど説明が短くなる傾向があるようです。
4.論文の内容説明
論文の要約には、どの会話スタイルが最適なのか試してみました。
論文の内容を知りたい場合は、一般的で簡単な内容なら創造性に、もう少し詳しい専門的な内容ならバランスに質問するのがよいようです。ただし、どちらも正確さは保証されていないので、正確さが求められる場合は、結局、実際の論文を読む必要があります。
5.一覧表の作成
データをまとめた一覧表の作成について試してみました。
やはり、データについては、厳密が一番信頼性が高いと言えるでしょうか。
6.ブログ記事の作成
ブログ記事を作成する場合に、どの会話スタイルが最適なのか調べてみました。
ブログ記事の作成で実際に使えそうなのは、創造性です。ただし、日常的で一般的な内容になることが多いため、技術的・専門的な解説には向いていないようです。
7.物語の自動生成
(1) ショートストーリーの生成
今回は、導入部分だけで終わってしまいましたが、やはり、物語生成のようなクリエイティブなことを試すのなら創造性がよいのでしょうか。厳密は、物語生成では使えなさそうです。
(2) 有名作家風の文章で日記を書く
創造性とバランスは、一応、きちんとまとまった内容が書けています。内容も面白いです。もっと、村上春樹や町田康らしい文体を期待していたのですが、そうはなりませんでした。厳密は、回答が短すぎて、物語生成系のタスクは無理なようです。
8.まとめ
創造性はフレンドリーな口調、厳密は少し堅い口調、バランスはその中間となります。
バランスや厳密は、質問を返してくることが多いようです。また、創造性は、話を続けやすくするために、質問に対して、何か一言付け加えてくることが多いようです。
算数などの推論能力は、3つの会話スタイルで、あまり違いはありません。ただし、厳密は、回答の長さが制限されていることから、段階的推論の過程の記載を省略することがあるようです。
歴史の質問に対する回答は、創造性が詳しく、バランスと厳密は、説明が簡単で回答が短いです。
論文の内容説明については、一番使えそうなのはバランスですが、正確性は保証されていないため、正確さが求められる場合は、実際の論文を読む必要があります。
データについては、厳密が一番信頼性が高いようです。
ブログ記事の作成は、ある程度の長さの文章を書いてくれる創造性が一番使えそうですが、日常的で一般向けの内容になることが多いため、技術的・専門的な解説記事にはあまり向いていません。
物語の自動生成も、創造性がよいと思いますが、バランスも面白い文章を生成してくれることがあります。厳密は短すぎてあまり使えません。
文章生成AIの正確さと自由度(面白み)はトレードオフの関係にあり、正確さを重視すると自由度が減って文章がつまらなくなり、自由度を重視すると不正確な記述が増えて非難されるようになります。
したがって、3つの会話スタイルを用意して、どれを選ぶかをユーザーに決めさせる今回の手法は、とても賢いやり方だと思います。
基本的な使い方としては、個人の好みもあると思いますが、一般的な質問にはバランスを利用し、ある程度の長さの記事や文章を作成する場合は創造性を利用し、正確なデータや数値が知りたいときは厳密を利用するのがよいでしょう。