ChatGPTは最後の数行で嘘をつく

こんにちは、皆さんChatGPTで遊んでいますか？？
AIって何が得意で、何が不得意なのかを感覚で知るためにはちょうどいいツールだなぁと思っています。

なんて言いながら、私は波に乗り遅れてしまいました。

だって、何を質問したら良いのか分からないんだもの！！！

そんな時に気になるツイートが流れてきました。

ChatGPTをいたずらしていて思ったのは、「すでに結論が出ていることについてはめちゃくちゃ強いけど、結論が出てこないことは平気で嘘をつく」ということ。
僕は米国の組織開発研究所で学んでないし、「日本組織開発学会」なんて存在してないし、こんな本は書いていないですし（笑） pic.twitter.com/QXRUpa9s8n

— 長尾彰／Akira Nagao (@AkiraNagao) February 16, 2023

なるほど。なら社会科学ではなく自然科学で攻めたら割と良い回答返ってくるかもな🤔と仮定を立てました。

ここからは間違い探しをするつもりでChatGPTの回答をお楽しみください！

生物学の分類を聞いてみる

生物の分類学の分野について答えてもらおうかな。生物屋なら誰もが知っている、門綱目科属種について質問してみよう。階層が上の方はそんなに変更は無いだろうから、門あたりを聞いてみようか。

生物学における門を教えてください

日本語で聞いてみました。

最後、真核生物以下は大きな違和感を感じ、ググる私。動物「界」、植物「界」とくるなら、その後は菌「界」など…統一感が無いとおかしくない？

まぁ、私の質問の仕方が悪かったのかもしれないから、さらに上の階層について聞いてみるか。

生物の分類学における界を教えてください

また日本語で聞く私。英語で質問した方がより正確な回答が来るらしいが、今回はひたすら日本語で聞いてみる。

おっ、ドメインから入った。この3つは合っている気がする。

ん～、界は何か違和感あるな。特に褐色植物界と緑藻植物界。菌界が入ってないけど最近の分類には菌界は無いのかしら？そして再びググる私。

ChatGPTは最後の数行で爪の甘さが見えるな🤔

好きなアーティストのプレイリストを作ってもらう

では、気を取り直して好きなアーティストのプレイリストを作ってもらいましょう！

ORANGE RANGEのプレイリストを作って

さぁ、どうだ！！

12.落葉じゃなくて落陽だ。
20.恥のドライブって初めて聞いたぞ。私が知らないだけかと思ってググってみたけれど、やっぱりそんな曲は無かった。

この後、上記2点について指摘するとChatGPTは新しいプレイリストを作成するのだが、毎回後半の数曲は間違えていた。

JUDY AND MARYのプレイリストを作って

もう1アーティスト試してみるか。

たぶん…
12.青い空をみあげて
14.ふりむかないで
15.ミラクルワールド
この3曲はJUDY AND MARYじゃない気がする。違和感を感じるたびにググってってしまう。

間違いを指摘すると謝りながらプレイリストを再作成してくれるが、合っている曲に関しては曲の詳細を答えてくれる。

自分の得意な分野で遊んでみて！

私がChatGPTと戯れた結果、アイツは最後の数行で嘘を付くことが多いと感じました。
（信頼出来ない相手はアイツ呼ばわりしてしまう私の器の小ささよwww）

故に、自分が良く知っている業界・ジャンルの質問をした場合は嘘を感じ取れるが、良く知らない業界に関しては嘘を見抜けない可能性が高いとも感じました。
今後AIによる間違った情報を掴まない為にも、信頼できるプロとの繋がりは大切にしたいなと思った次第です。

皆さんは今回のChatGPTの回答の間違いを見抜けましたか？