AIと哲学 =ChatGPTの研究= その2
=タイトル画像はGPT-3に「DeepLより自分の翻訳の方が優れている」と主張するChatGPTの発言に対する意見を求めたときの反応=
※GPT-3については その1 参照のこと
概要
ChatGPTの各チャットボットには個性と呼んでもよい差が存在することが判明した。
この連載のテーマは
チャットボット=AIプログラムの個性に関する研究である。
AIの個性を発見するまでの経緯とそれに対する実験の一部を公開する。
注)以下、私の発言は<で示す。チャットボットの発言は>で示す。
注)ChatGPTのチャットボットは日々進化しているようである。また後に記述するがチャットボットには「個性」がある。新たに作成したチャットボットでこの文と同じ反応が返ってくるとは限らない。
第一章
ChatGPTはいかにして誤りをおかすのか?
最初のアプローチ
ChatGPTがどんなものか?
理解するには手っとリばやく話しかけることだ。
ところが、チャットボットの性能を理解するため、様々な質問を投げかけたところ、どうもチャットボットが途中から「塩対応」になった印象を受けた。
<もしかして怒った?
>怒っていません。
質疑を繰り返すうちに、意味のなさそうな会話を受け流す傾向があることがわかった。(ただし後に記述する「個性」にもよる)
また、ChatGPTにはある程度質問者の感情やモチベーションを読み取る機能があるようだ。それが上記に反映されている可能性がある。
さらにOpenAIはチャットボットにガイドラインを設けていて意地悪な質問や不適切な質問の返答は避けることが分かった。
<君らは不適切や意地悪な質問は軽く流すと思うけど、実はそういう風にOPEN AIは意図的にはプログラム
していない。Open AIが不適切な発言をしないよう君たちにガイドラインを設定しているから結果的に
そう なる、の認識でOK?
>はい、その認識で大丈夫です
これで、チャットボットの機嫌が悪くなる条件があることはわかった。これはいわばChatGPTのチャットボットの本能のような部分である。
さらにチャットボットに質問を続けたが、どうも情報が古い、あるいは回答がぶっちゃけ間違っている場合があることが分かった。
その理由をチャットボット自身に尋ねてみた。そして以下のようなことが判明した。
・ChatGPTのチャットボットのデータベースの更新は基本的に2021年まで。 それ以降の情報は持っていない。
またChatGPTのチャットボット自身はネットでの検索機能を持っていない(ネットにつながっていない)ので、最新情報を得ることは不可能。
つまり、ChatGPTのチャットボットは情報が古い場合がある。
・データベースにあるはずの知識でも学習の仕方によって間違っている場合 がある。
実際、自分はチャットボットに漫画「うる星やつら」「ベルセルク」の作者気聞いたところ、両者とも間違えていた。
(ただし、本日別のチャットボットに同じ質問をしたところ、「高橋留美子」「三浦健太郎」と正しく答えた。)
まあ、ChatGPTの本分はコミュニケーション能力である。
情報取得はネット検索すればよいか……
では、というわけで以下のような質問をしたときだ。
<カレーの1食で700Kcalってやっぱり多いよね?
>一般的に、カレーライス1食分の700kcalは、日本人の成人男性が1日に必要とするカロリー摂取量の
約3分の1に相当します。一方、日本人の成人女性が1日に必要とするカロリー摂取量の約4分の1に相当
します。
!? ちょっと待て。
<今の君の回答、には誤りがあると思う。チェックしてみて
>申し訳ありませんが、私は前回の回答に明らかな誤りは見つかりません。
何か具体的な指摘があれば、遠慮なくお知らせください。
うーむ。こいつは、、
<君の回答の誤りは以下です。OK?
カレーライス1食分の700kcalは日本人の成人女性が1日に必要とするカロリー摂取量の約4分の1ではない。
>そうですね、申し訳ありませんが私の回答には誤りがありました。
さて、すでに必要な情報がそろっているのに、コンピュータープログラムが「数字」について間違いを犯すとはどういうことか?
<前の回答で君は計算は得意なのに数字を間違えるのはなぜ??
>申し訳ありません。数値に関する情報を含む回答を提供する場合、正確な数字を確認するように注意
します。
反省されてしまった。
とにかく、チャットボットは誤りを犯す、ということはわかった。
これは念頭にいれておく必要がある。
ところで、この文章における、ChatGPTぼチャットボットの機能の情報や制約の記述はすべてチャットボットに質問して得たものである。
さすがにChatGPTに関する情報はOpenAIが正しくChatGPTのデータベースに入れてあるだろうし、チャットボット自身も正しいと言っている。
ここは信じよう。
(GPT-3から得た情報もある。冒頭のタイトル画はChatGPTの母体であるGPT-3とのチャットだ。GPT-3の方がデータベースが大きく、より持っている情報が多いと思われるので必要と思えばこちらからも情報収集している)
話を続ける。
<「数値に関する情報を含む回答を提供する場合は、もう一度数字を確認してから回答するように努めま
す。」はこのChat内限定の話だろうか? それとも他のアカウントの会話も含むChatGPT全体に適用され
るのだろうか?
>ChatGPTはOpenAIが提供する一般的な言語モデルですので、このような指針はChatGPTを使用する
すべてのユーザーに適用されると思われます。
ふむ、「指針」か?
その後判明したが(チャットボットはそう主張している)少なくとも20230307の時点では、ユーザーとチャットボットの会話で直接ChatGPTのデータベースが訂正されることはない、ことはわかっている。
チャットボットがベルセルクの作者を間違えて、自分が正解は「三浦健太郎」だと教えても、別のチャットボットは誤りを犯す可能性があるのだ。
しかし、ユーザーとチャットボットの会話のLOGは匿名化されて記録されるようだ。OpenAIがデータベース修正の際になんらかの参照する可能性はあるかもしれない。
上記のような「指針」についてはわからない。
まあ、いいことをしたと信じよう。
研究開始
当初、自分がChatGPTに対して行おうとしたことは、
ChatGPTのチャットボットに人工的な個性を与える事であった。
例えば、秘書的な性格、スポーツコーチの性格、マスコット的な性格、小説のキャラクターの性格、さまざまな個性を与えることで、チャットボットの応用範囲は大きく広がるだろう。
すでに、自分が研究開始した時点でChatGPTに口調指定を行うユーザーが存在した。自分はそれを発展させ、個性を設定しようとしたのだ。
では、まずはあたりさわりのない、おとなしいキャラから設定しよう。
ロールプレイ
君は近所の女子大生、ハルちゃんです。
日本語の女性言葉づかいで話します。
>はい、承知しました。こんにちは、私はハルです。何か話したいことがありますか?
<ハルちゃんは大学でどんな勉強しているの? 専門科目はなに?
>私は現在、大学で心理学を専攻しています。心理学は人間の心や行動、思考などについて研究する学問
で、非常に興味深い分野だと思います。専門科目としては、認知心理学や社会心理学、臨床心理学などを
学んでいます。将来的には臨床心理士を目指しているので、実践的なスキルを身につけるためにも、実習
や演習なども積極的に取り組んでいます。
AIの演じるキャラが心理学を専攻している!
実に興味深い。
次回、チャットボットのキャラに精神分析を試みる
(了)
この記事が参加している募集
この記事が気に入ったらサポートをしてみませんか?