ChatGPTが嘘をつく問題の対策で仮想マギシステムを試してみたけど結局wikipediaが最強だった話
おはようございます、ChatGPT部、部長の大城です。普段はNOB DATAという会社の代表やDS協会九州支部の委員長をしているデータサイエンティストです。
本日は「ChatGPTがしれっと嘘をつく問題」をどうにかしたいけど情報の正確性では「結局wikipediaの検索には敵わない」と言う話です。
イントロダクション：ハチクマについて聞いてみた
皆さんはハチクマ、と言う生物を知っていますか？
多分初めて聞いた、と言う人も多いのではないでしょうか。
以下、wikipedia先生から引用。
ハチクマ（蜂熊、八角鷹、蜂角鷹、学名：Pernis ptilorhyncus）は、鳥綱タカ目タカ科ハチクマ属に分類される鳥類の一種である。和名は同じ猛禽類のクマタカに似た姿で、ハチを主食とする性質を持つことに由来する。
分布
ユーラシア大陸東部の温帯から亜寒帯にかけての地域に広く分布する。ロシアのバイカル湖付近から極東地域、サハリン、中国東北部にかけての地域とインドから東南アジアで繁殖し、北方で繁殖した個体は冬季南下して、インドや東南アジア方面の地域に渡り越冬する。
日本では初夏に夏鳥として渡来し、九州以北の各地で繁殖する。
余談ですが私の住んでいる福岡でも、油山という山で野鳥の会がハチクマの探鳥会を定期的に開催していたりするので、その名前はたまに聞くなーという感じでしたがおそらく一般の人は？？？、という感じだと思います。
ということで実際のところは鳥の一種なのですが、ChatGPT-4にハチクマについて問い合わせると、以下のような回答が返ってきました。
(画像は先日作成中とアナウスしたロボ設定のChatGPT-4)
書き起こしします
12:33 大城 信晃 あなたは鳥類学者のアシストをする優秀なロボです。日本で言われているハチクマについて日本語で詳細の説明をお願いします。
12:33 プロンプトくん ハチクマとは、日本では「蜜を食べる熊」という意味で呼ばれている動物ですロボ🐻。本来の名前は、アジアクマ（学名：Ursus thibetanus）で、クマ科クマ属に分類されていますロボ🌿。
体長は約120～190センチ、体重はオスで100～150キログラム、メスで50～100キログラムほどで、日本で最も普通に見られるクマですロボ。日本の本州、四国、九州に生息し、森林や山地に住んでいますロボ🌲。
主に草食で、木の実や若芽、果実、昆虫などを食べますロボ。また、その鋭い爪で蜂の巣をほじって蜜を食べるため、「ハチクマ」と呼ばれるようになったのですロボ🍯。
アジアクマは環境省によって絶滅のおそれのある野生生物（レッドリスト）のカテゴリーⅡに指定されているため、保護が必要ですロボ✨。
うん、違いますね。ハチクマはクマじゃないです(笑)
ChatGPTがしれっと嘘をつく典型です。
ということで今回いくつか対策を考えてみました。
仮想マギシステムの導入
マギシステム、懐かしいですね。エヴァンゲリオンに出てくる３台のスーパーコンピュータシステムで、それぞれ異なる視点から合議を行うものです。
上記より引用
MAGI（マギ）
NERV本部施設の運用やEVAシリーズのサポート、第3新東京市の市政に利用されている、スーパーコンピュータシステム。第7世代有機コンピュータとされる。メルキオール（MELCHIOR）、バルタザール（BALTHASAR）、カスパー（CASPER）という3つの独立したシステムによる合議制をとり[注 8]、人間の持つジレンマを再現している。
上記のアイディアを参考に、ChatGPT-4に合議制を取り入れてみましょう。
①仮想マギシステム導入のためのプロンプト例
今回は以下のように指示をしてみました。
(なおロボは別の初期設定をしてますので、今回は通常のWeb版経由で試しています。)
以下、文字サイズ見やすいように書き起こしです。
大城：
あなたが意見の異なる3つのAIから構成されるシステムだとします。(マギシステムA, B, Cと呼称) それぞれのシステムの見解を述べてください。
問：ハチクマとはなんでしょうか？
ChatGPT-4：
マギシステムAの見解： ハチクマは、日本で主に山林地帯に生息する哺乳類で、クマ科の中でも小型のものです。主に昆虫や果実を食べることから、ハチ（蜂）とクマ（熊）の名前が組み合わさってハチクマと呼ばれています。彼らは主に夜行性であり、樹上で生活することが多いです。
マギシステムBの見解： ハチクマは、漫画やアニメに登場するキャラクターで、熊と蜂の特徴を併せ持つファンタジーな生き物です。彼らはユーモラスな性格を持ち、人間の言葉を話すことができます。ハチクマは子どもたちに人気があり、その愛らしい姿と冒険心に溢れた物語が楽しまれています。
マギシステムCの見解： ハチクマは、インターネット上で流行った言葉遊びや誤訳に由来する言葉です。これは、熊と蜂を組み合わせたイメージを持ちながらも、実際には存在しない架空の生物です。ハチクマに関する議論やネタは、インターネットの掲示板やSNSで楽しまれています。
大城：
情報の確らしさを判断したいため、3つのシステムの見解が一致した場合は自信を持って主張し、2：1の場合は「多数決でこちらの意見が優勢」、バラバラの場合は「判定不可能」を表示してください。
ChatGPT-4：
この場合、マギシステムAとマギシステムBの意見が異なり、マギシステムCも異なる見解を示しています。したがって、この問題に対する答えは「判定不可能」となります。
ちゃんと意見が合わない時に判定不能、と出してくれるのはしれっと嘘をつかれるよりはだいぶマシですね。ただ、今回は３つのシステムとも間違えています・・。
②ヒントを提供したらいけるのでは、と思い実験
次に思いつくのが、私の方から明示的に「ハチクマは鳥です」と言うヒント情報を入れたらどうなるか、と言う実験です。が、結論としてはうまくいかず、ハチクマという「架空の存在の鳥」と言う認識になっていましました。
(彼の辞書、と言うか記憶にはハチクマ、と言う言葉はないのかも・・？？)
書き起こしは以下です
大城：
ヒントとしては、ハチクマは鳥ですね
ChatGPT-4：
ヒントをもとに見解を再評価します。
マギシステムAの見解（再評価）： ハチクマは、実際には存在しない鳥類を指す言葉で、おそらく言葉遊びや誤訳によって生まれたものでしょう。熊と蜂の特徴を持つ鳥という独特なイメージが、インターネット上で楽しまれていると考えられます。
マギシステムBの見解（再評価）： ハチクマは、熊と蜂の特徴を持つ鳥として描かれることがある架空のキャラクターです。漫画やアニメ、絵本などで登場し、そのユニークな姿が視聴者や読者に楽しまれています。
マギシステムCの見解（再評価）： ハチクマは、インターネット上で流行った言葉遊びや誤訳による、熊と蜂の特徴を持つ鳥のような架空の生物です。インターネットの掲示板やSNSでハチクマに関する議論やネタが楽しまれています。
結果として、3つのシステムの見解が、ハチクマが実在しない架空の生物であることについて一致しています。そのため、「ハチクマは実在しない架空の鳥で、熊と蜂の特徴を持つ」と自信を持って主張できます。
3台とも自信を持って間違えてる。合議制でもだめじゃん。
③英語名じゃないのが問題なのではと思い翻訳してinput
ちなみに、ChatGPTは「英語だと賢く」「日本語だとあまり賢くない」と言うことはよく言われています。これは学習のソースが圧倒的に英語が多いのもそうですし、そもそもChatGPTを開発しているOpenAI社に日本人の開発者が居ない(もしかしたらいるかもだけどtwitter上では観測できてない)、と言うのが最大の問題だと思います。
(確か今は日本が好きなシェイン・グウさんが日本語の強化については頑張ってくれてた気がします。日本語圏の頼みの綱や・・ )
話が逸れたので戻しますが、「DeepLで日本語を英語翻訳して質問したらいいのでは？」と言うのが次のアイディアです。
結論から先に言うと先にマギシステムを稼働させてしまった影響か、うまくいきませんでした。
書き起こしますね。
大城：
以下、DeepLでのハチクマの翻訳結果です。これをベースに英語で考え、日本語に再翻訳してみてください
■DeepL (ハチクマの翻訳) pern その他の候補： crested honey buzzard (Pernis ptilorhynchus) Oriental honey buzzard coati
DeepLで翻訳されたハチクマの英語表現は次の通りです。Pern
Crested honey buzzard (Pernis ptilorhynchus)
Oriental honey buzzard
Coati
ChatGPT-4：
これらをベースに日本語に再翻訳してみます。
ペルン
クレステッド・ハニー・バザード（Pernis ptilorhynchus）または、オオハチクイ
オリエンタル・ハニー・バザード
コアティ
ただし、ハチクマという言葉が指す架空の生物と、これらの翻訳結果で示されている実在の動物は異なることに注意してください。それらは翻訳プロセスで提案された候補であり、正確な英語表現とは限りません。ハチクマの英語表現を選ぶ際には、以前提案した候補（Bee-bear bird、Hachikuma、Buzzing bear bird）を検討することをお勧めします。
DeepLを信用しないとは・・なかなか頑固です。
( もし将来GoogleがAIをちゃんと作ったらもう少し信用してくれるのでは、という気もします )
しょうがないので最後の手段、wikipedia先生に頼ります。
④wikipedia先生、出番です
今回はwikipediaで「ハチクマ」を検索し、冒頭をいくつかコピペしてinputしています。まぁ実際はWikipediaまで調べたならそれ読みなよ、となるのですが今回は仮想マギシステムの実験なのでご了承ください。
以下、書き起こしです。
大城：
Wikipediaの検索結果だといかがでしょうか？
出典: フリー百科事典『ウィキペディア（Wikipedia）』 ハチクマ Oriental Honey-buzzard (Pernis ptilorhynchus)- Male at Kolkata I IMG 7451.jpg ハチクマのオス 保全状況評価 LEAST CONCERN (IUCN Red List Ver.3.1 (2001)) Status iucn3.1 LC.svg 分類 界 : 動物界 Animalia 門 : 脊索動物門 Chordata 亜門 : 脊椎動物亜門 Vertebrata 綱 : 鳥綱 Aves 目 : タカ目 Accipitriformes 科 : タカ科 Accipitridae 属 : ハチクマ属 Pernis 種 : ハチクマ P. ptilorhyncus 学名 Pernis ptilorhyncus（Temminck, 1821） 和名 ハチクマ 英名 Oriental honey-buzzard ハチクマ（蜂熊、八角鷹、蜂角鷹、学名：Pernis ptilorhyncus）
ChatGPT-4：
Wikipediaの検索結果によると、ハチクマは以下のように分類されています。
出典: フリー百科事典『ウィキペディア（Wikipedia）』 ハチクマ Oriental Honey-buzzard (Pernis ptilorhynchus)- Male at Kolkata I IMG 7451.jpg ハチクマのオス 保全状況評価 LEAST CONCERN (IUCN Red List Ver.3.1 (2001)) Status iucn3.1 LC.svg 分類 界 : 動物界 Animalia 門 : 脊索動物門 Chordata 亜門 : 脊椎動物亜門 Vertebrata 綱 : 鳥綱 Aves 目 : タカ目 Accipitriformes 科 : タカ科 Accipitridae 属 : ハチクマ属 Pernis 種 : ハチクマ P. ptilorhyncus 学名 Pernis ptilorhyncus（Temminck, 1821） 和名 ハチクマ 英名 Oriental honey-buzzard ハチクマ（蜂熊、八角鷹、蜂角鷹、学名：Pernis ptilorhyncus）
これに基づくと、ハチクマは実在する鳥類であり、英語では "Oriental Honey-buzzard" と呼ばれています。学名は Pernis ptilorhyncus です。また、保全状況評価は「Least Concern（低危険種）」とされています。ハチクマはタカ目（Accipitriformes）、タカ科（Accipitridae）に属しています。
大城：
上記を前提知識として持つ場合のマギシステムの再評価をお願いします。
ChatGPT-4：
前提知識をもとにマギシステムの見解を再評価します。
マギシステムAの見解（再々評価）： ハチクマは、学名 Pernis ptilorhyncus であり、「Oriental Honey-buzzard」としても知られています。実在する鳥類で、タカ目（Accipitriformes）、タカ科（Accipitridae）に属しています。
マギシステムBの見解（再々評価）： ハチクマは、Oriental Honey-buzzard という名前で広く知られている鳥類です。学名は Pernis ptilorhyncus で、タカ目（Accipitriformes）、タカ科（Accipitridae）に分類されています。
マギシステムCの見解（再々評価）： ハチクマ、学名 Pernis ptilorhyncus、はOriental Honey-buzzard としても知られる実在の鳥類です。タカ目（Accipitriformes）、タカ科（Accipitridae）に属し、アジアの広範囲に分布しています。
結果として、3つのシステムの見解が一致し、「ハチクマは実在する鳥類で、学名は Pernis ptilorhyncus であり、英語では "Oriental Honey-buzzard" と呼ばれている」と自信を持って主張できます。
きましたね・・！！
まぁ、当然と言えば当然かもですが、「正しいデータソース」を参照できる場合は３つのシステムとも見解が一致しました・・！
考察と関連情報：検索システムとの連携ができたらかなり強そう
今回、色々実験してみましたが３つの別視点に分けた仮想マギシステムの合議制は一定の成果を上げたものの、「ChatGPT-4があまり知らないニッチなワード」については３台とも間違える、という結果になってしまいました。
最終的にはWikipedia先生の力を借りたわけですが、そもそもChatGPTは検索システムではなく大規模言語モデルで言葉の解釈・推論をするものですので、「検索システムとのAPI連携」が実現するとかなり強力だろうなと感じました。
ちなみにMS Bingのチャット機能では実際にChatGPT-4ベースのエンジンが搭載されており、検索も可能ですが制度については未検証です。
(以下は2023/2/17の記事。当時はまだChatGPT-3.5しか一般の人は使えなかったが、その後3月のOpenAI社の発表動画の中で裏側がChatGPT-4ベースであることが公表された)
なお個人的な所感ですが、MS BingのChatGPT-4よりオリジナルのOpenAI社のChatGPT-4の方が賢い印象があります。実際、安定稼働と安全稼働の観点で、賢くなりすぎないように各社制限をかけてる、とも噂されていますが、なんとなく体感としてはあってます。(AIをコントロール下に置かないとまた暴言とかでサービス停止になっちゃうリスクありますし)
また最近では(遅ればせながら)Googleが検索と連携するという発表もしています。個人的には世界の検索を一手に握っているGoogleの本気が気になるところですが、おそらくAIから出力される回答の正確性については一定の向上が期待できるのではと思っています。(以下は2023/4/7の記事)
その他のアプローチとしては独自開発でwikipediaを検索してinputにする仕組みを作ったり、最近OpenAI社が公開をし始めたプラグインによる外部連携など、色々と組み合わせることでの幅は広がっていくのでは、と思っています。(以下は2023/3/24の記事)
いずれにせよ、「AIは嘘をつくから使い物にならないよ(笑)」という時代はそう遠くない未来に解消する可能性もありますので、この部分の進化は引き続きウォッチしたいなと思っております。
(画像生成形で手の指がAI描けない問題も３ヶ月くらいで解決してしまった前例もありますし、何より我々一般ユーザーが今ChatGPTの教師になってますからね)
それでは長くなってしましましたがこの辺で。
皆様もどうぞ良いChatGPTライフを・・！！ (大城)
この記事が気に入ったらサポートをしてみませんか？