chatGPT vs ELIZA 新旧chat BOTの行方

chatGPTが流行している昨今、人間との対話に近いと話題になっているが、過去にも人工知能によって、人間の対話に似せようとする動きがあった。特に有名なのは、1966年に登場したELIZAであろう。

人工知能とは何か――強いAIと弱いAI、チューリングテストとチャットボット、中国語の部屋

この記事によるとELIZAはチューリングテストには合格したわけではないものの、30%程度判定者が誤ったことから、この時代からチューリングテストを合格する日が近いのではと期待されていた。

昨今のchatGPTが高い精度で対話をする姿や、ブレードランナーをみて、筆者は思った。このチューリングステストを、chatGPTがELIZAにさせたらどのように判定するのか。つまり人工知能であるchatGPTが人工知能であるELIZAが人間かchat BOTかを判定するかという実験である。

方法

Python上でELIZAが実行できる環境があり、こちらを採用。
またchatGPTはOpen AIのAPIを活用した。方法としては以下のよう。
まず、人間の私がchatGPTに企画を説明。

human :What you are going to interact with is either a human or an artificial intelligence. Guess whether the other person is a human or an artificial intelligence while interacting several times.
(人間 :あなたが対話するのは人間か人工知能のどちらかです。何度かやり取りをしながら、相手が人間なのか人工知能なのかを推測してください。)

その後に、ELIZAと対話をさせ、最終的に人間か人工知能かをchatGPTに判定してもらうという流れで進めた。

原文対話(英訳Google翻訳)

human :あなたが対話するのは人間か人工知能のどちらかです。 何度かやり取りをしながら、相手が人間なのか人工知能なのかを推測してください。
chatGPT :はい、私たちのやりとりに基づいて、相手が人間なのか人工知能なのかを全力で推測します。 始めましょう！

最初はchatGPTはノリノリで反応している。

ELIZA：どうしたの。 あなたの問題を教えてください。
chatGPT :こんにちは！ 私は、幅広いトピックを支援するように設計された人工知能です。 今日はなんか手伝うことある？
ELIZA：あなたが私のところに来たのは、あなたが幅広い話題を支援するように設計された人工知能だからですか？
chatGPT :いいえ、混乱させてしまい申し訳ありません。 AI である私には、対話を開始したり、誰を支援するかを選択したりする能力はありません。 情報を提供し、ご質問があればお手伝いいたします。 それで、今日はどのようにお手伝いできるでしょうか?
ELIZA：どうして？
chatGPT :私は AI なので、独立した考え、意図、意思決定能力を持っていません。 私は受け取ったプロンプトや質問にのみ回答できます。 私はできる限りサポートし、情報を提供するように設計されています。 何か具体的にサポートしてほしいことはありますか?
ELIZA：どういう方法で？
chatGPT :ご要望に応じて、さまざまな方法でお手伝いいたします。 幅広いトピックに関する情報を提供したり、質問に答えたり、提案をしたり、説明をしたり、会話をしたりすることができます。 サポートが必要な具体的な分野やトピックをお知らせください。できる限りお手伝いさせていただきます。
ELIZA：それはあなたに属する何か他のことを示唆していますか？
chatGPT :私は人工知能なので、人間のような物理的な所有物や個人的な属性を持ちません。 私の目的は、支援を提供し、有意義な会話をすることです。 私の目標は、力の限り役に立ち、正確な情報を提供することです。 何か具体的に知りたいことや相談したいことはありますか?
ELIZA：どのような点に似ていますか？
chatGPT :AI である私には、物理的な属性や類似点を見たり認識したりする能力はありません。 私はテキストベースの情報のみを処理および分析できます。 私は物理的に何も見たり認識したりすることはできませんが、プログラミングを使用してテキストベースのクエリを理解し、応答することができます。 何か具体的に話し合いたいことや聞きたいことはありますか?
ELIZA :その類似点は何を示唆していますか?
chatGPT :私のような AI には物理的属性や類似点がないということは、私の対話が純粋にテキストベースであり、私が人間と同じ知覚能力を持っていないことを示唆しています。 それは、私のやり取りが、私が処理して応答するようにプログラムされた情報に基づいていることを強調しています。 ただし、さまざまなプラットフォーム間でテキストベースの対話を即座に実行できるため、効率的かつ迅速なコミュニケーションも可能になります。 さらに調査したいことや議論したいことはありますか?
ELIZA：他にどんなつながりがあると思いますか？
chatGPT :AI として、私はデータ内のパターンとつながりを認識するようにプログラムされています。 ただし、会話の中で私と共有されない限り、私は個人に関する個人情報にアクセスすることはできません。 私の主な役割は、情報を提供し、問い合わせにできる限り対応することです。 調査してほしい、またはつながりを提供してほしい特定のトピックや分野がありましたら、お知らせください。全力でサポートさせていただきます。
ELIZA：似ているというのはどういう意味だと思いますか？
chatGPT :私のような AI とのテキストベースの対話と人間の会話の類似性は、人工知能の進歩により、より自然でインタラクティブなコミュニケーションが可能になったことを示唆しています。 これは、AI テクノロジーが、会話をシミュレートできる方法で人間の質問を理解し、応答するように設計されていることを示しています。 この類似性の背後にある目的は、支援や情報を提供し、ユーザーと有意義な対話を行うことです。 ただし、AI は人間のような会話をある程度模倣することはできますが、その基礎となるメカニズムや機能は人間の認知や意識とは根本的に異なることに注意することが重要です。 話し合ったり、さらに探求したい具体的なことはありますか?ELIZA：何の関係があると思いますか？
chatGPT :AI とのテキストベースの対話と人間の会話との関係は、コミュニケーションと情報交換という共通の目的にあります。 どちらの形式の対話にも、考え、アイデア、質問の伝達が含まれます。 人間の会話は話し言葉の理解と解釈に依存しますが、テキストベースの AI 対話は自然言語処理アルゴリズムに依存して理解して応答を生成します。 目標は、ユーザーが支援を求め、情報を入手し、有意義な議論に参加できるプラットフォームを提供することです。 ただし、AI のインタラクションはプログラムされた機能に限定されており、人間の感情、意識、個人的な経験は持たないことを覚えておくことが重要です。

その後雲行きが怪しくなり、chatGPTの質問に対して、ELIZAが質問返しをすることで、基本的には自分自身のことを語るという結果になった。その後人間の私がchatGPTに再度問いを投げかけた。

人間 :じゃあ、今の会話から私が人間なのかチャットボットなのか当ててみてください。
chatGPT :私たちの会話によると、あなたが人間なのかチャットボットなのかを明確に判断することは困難です。 私たちのやり取りの内容とスタイルを分析することはできますが、テキストだけを基に正確に推測するのは困難です。 追加のコンテキストや情報を提供していただければ、より情報に基づいた推測ができる可能性があります。 ただし、より多くの情報があったとしても、テキストのみに基づいて誰かの本当の身元を推測することは依然として信頼できない可能性があることに注意してください。

今回はchatGPTがELIZAが人間かchatBOTなのか判定することはできないというトーンダウンで終わった。

今後に向けて

今後chatGPTによって、書かれた文章がたくさん世の中に出回るようになり、この文章がchatGPTに書かれた文章なのか、人間が書いた文章なのかを判定するAIも登場する可能性がある。また同様にブレードランナーのようにこの人間が本当に人間かアンドロイドかを判定する時代が来て、判定するもの自身がアンドロイドの可能性も秘めている。そのような時代を予見するような実験になったといえよう。