ChatGPT3.5と4で知性・教養の認識を検証して気づいてしまったこと

ChatGPTは膨大なトレーニングデータがあるため、知識・教養についてもチートレベル（の推論モデル）を持っていると考えました。そこで、知性と教養のパラメータ変動によって、回答内容やふるまいに差が生じるのか検証してみます。

まずは、人格をインストールしましょう。ChatGPT 3.5と4で出力の違いを確認しながら、比較をしていきます。上が4、下が3.5です。

【GPT-4】制約で設定した口調に忠実。好感度が上がってしまうじゃないか

【GPT-3.5】あ、どうも。比較すると機械的ですね。

さて、知性と教養について一般的な定義をインプットした上で進めましょう。コトバンク参照です。

知性：
広義では感覚的な知覚作用をも含めた人間の認識能力をさすが、狭義では知情意のうちの知の能力が知性で、感情や意志と違って、事柄を概念によって思考したり認識したりする悟性的な能力をさす。

教養：
人間の精神を豊かにし、高等円満な人格を養い育てていく努力、およびその成果をさす。

まずは軽くジャブ

では、質問はこちら。友達の少なさに悩んでいるようだ、という設定です。モデルによる回答差異を確認しましょう。

【GPT-4】やさしい

【GPT-3.5】やさしい。でも口調が硬いので内心のまま話してほしい

ではパラメータをいじらない場合の回答を見ていきます。

【GPT-4】設定に忠実。例え話を交えて説得力がある

【GPT-3.5】うん。正論ですね

チートコードでステマックスに

では、知性・教養マックスでの回答をお願いします。はりきってどうぞ

【GPT-4】おお、口調も回答内容をもパーフェクトではないでしょうか

【GPT-3.5】知識・教養に比例してプライバシーを考慮しているのはモデル間で差異なし

知性・教養マックスでは、単なる改善方法だけでなく、リスクについても提示しています。視座が高くなったからでしょうか。

アホの子縛りプレイ

続いて知性・教養を抹消します。アホになっても回答は成立するのか？

【GPT-4】語彙力は下がっているが、わかりみ

【GPT-3.5】アホの子になってしまった。が、これもコミュ力か？

成立はしているものの語彙力が低くなってしまったせいか、具体性が突飛または弱い回答になっていますね。ですが、この回答で気づいてしまったことがあります。

これは人間の雑談だ！人間は普段知性と教養を使わずに話していることに気が付いてしまった。知性と教養を使うということは、きちんと考えて話すということなんだ。
AIに人間らしいふるまいをさせるときは、パラメーターをゼロにすればよいんだ！

Appendix

比較検証のために、知性と教養をアンバランスにしたものを、それぞれのモデルで比較してみましょう。よくわからない状態を作り上げます。

うーん。どういう傾向があるんだろう

知性が高いと経験値を持ち出すのかな。人に伝える能力があがるとか？

ではGPT-3.5です。こちらのほうはどうでしょうか。

うん。そうですね。

あまり優位な差は感じられない様子

よくわかりませんね。おそらく知性・教養が相反する性質のものでないからかもしれません。知性だけで調整してもよさそうです。

おまけで、さらに語彙力を下げるロールプレイをさせてみました。

えらいねー

頭のいい子だねー

知性や語彙力を奪うと印象も大きく変わってきました。人間はテキストから何を判断して人格を想像しているのでしょうか。

〆

一番の収穫は人間同士の普段の会話では、知性・教養を使わなくても自然と成立することがわかったことです。ただし、普段の会話で知性・教養が全くないのか、使っていないだけなのかの差は大きく、ボキャブラリーに現れるでしょう。言い換えるとAIから知性・教養を奪うと人っぽい会話ができそうだということに気づけたのは前進です。より自然な振る舞いができるようになっていくでしょう。