ChatGPTの回答を検証する 第１回 藤巻 隆 回答に誤りが多いことが判明
ChatGPTの回答を検証する 第１回 藤巻 隆
気づき
最近まで「ChatGPTとの対話」というタイトルの記事を投稿してきました。
気づいたことがありました。
日本の小説と作家について対話したのですが、誤りが多数見つかりました。
日本文学を過小評価しているためなのか、ビッグデータの収集に偏りがあるのかは憶測でしかありませんが、疑念を抱きました。
過去のやりとりについては、下記の「ChatGPTとの対話」の記事をご覧ください。
ChatGPTは日本文学について弱いのかもしれないと思いました。
ところが、それだけではなかったのです。
少し長くなりますが、次のChatGPTと私の対話をご覧ください。
間違いが多く、目に余るものがありました。
ChatGPTの回答を検証 ２０２３．０５．０５
私の疑問
私の質問
以前、統計学についてお訊きしました。
そして、統計学についての書籍を紹介していただきました。
それらの書籍を確認したくて、アマゾンで検索したら、その多くが該当しませんでした。
結論を先に言います。紹介していただいた書籍とその著者はセットでは見つからなかったということになります。
具体的にお話します。
初心者向け:
1. 『統計学入門』 著者: 奥田民生
まず、奥田民生は日本のミュージシャンです。同姓同名の統計学の専門家を探してみましたが見当たりませんでした。
『統計学入門』というタイトルの書籍は数多く、どれを紹介していただいたのか分かりません。
2. 『統計学の基礎』 著者: 工藤俊彦
工藤俊彦は統計学の専門家ではありません。小説家です。
『統計学の基礎』というタイトルは数多く、特定することができませんでした。
1点だけ挙げるとすれば、
です。
3. 『やさしい統計学』 著者: 原田浩二
原田浩二という人物は京都大学大学院医学研究科 社会健康医学系専攻環境衛生学分野 准教授 です。統計学の専門家ではありません。
『やさしい統計学』というタイトルの書籍は数多く、どれが該当するのかわかりません。
『やさしい統計学』田畑吉雄が該当するかもしれません。
上級者向け:
1. 『統計学』 著者: 高橋良夫
書籍をアマゾンで検索しましたが、該当する書籍は見つかりませんでした。
高橋良夫は統計学の専門家ではありません。バイクの専門家です。
2. 『多変量解析入門―理論から実践まで』 著者: 岸本康弘
サブタイトルを含めた書籍をアマゾンで検索しましたが、該当する書籍は見つかりませんでした。
『多変量解析入門－線形から非線形へ』というタイトルの書籍は見つかりましたが、著者は小西貞則です。
3. 『統計的因果推論―デザインベースアプローチによる科学的認識の再構築』 著者: ジュードア・アイザックス
アマゾンで検索した限りでは、このタイトルの書籍は見つかりませんでした。
ジュードア・アイザックスという人物は実在しません。ジェイソン・アイザックスという俳優は実在します。
つまり、この書籍は出版されていないことになります。
ご紹介していただいた書籍及び著者の出典元、あるいは出所はどこにありますか？
元データに誤りがあったとしか言えません。
回答
申し訳ありませんが、誤った情報を提供してしまい、ご迷惑をおかけしました。 書籍や著者の情報を再度確認し、正確な情報を提供します。
初心者向け:
1. 『統計学入門』著者: 奥田民生 申し訳ありません、先に紹介した奥田民生は、統計学の専門家ではなく、日本のミュージシャンです。正しい情報は以下のとおりです。
『統計学入門』 著者: 奥田民生 (岩波書店, 2009) https://www.amazon.co.jp/dp/4000069787/
2. 『統計学の基礎』 著者: 工藤俊彦 先に紹介した工藤俊彦は、統計学の専門家ではなく、小説家です。正しい情報は以下のとおりです。
『統計学の基礎』 著者: 井上敏樹, 小林幹久, 永田靖, 杉田昭夫 (東京大学出版会, 2005)
https://www.amazon.co.jp/dp/4130625054/
3. 『やさしい統計学』 著者: 原田浩二 先に紹介した原田浩二は、確かに京都大学の教授であるという情報は正しいですが、統計学の専門家ではありません。正しい情報は以下のとおりです。
『やさしい統計学』 著者: 田畑吉雄 (東京書籍, 2015) https://www.amazon.co.jp/dp/4489026255/
上級者向け:
1. 『統計学』 著者: 高橋良夫 先に紹介した高橋良夫は、統計学の専門家ではなく、バイクの専門家でした。正しい情報は以下のとおりです。
『統計学』 著者: 永田靖, 梅田良恵, 藤岡健一, 林大助, 市來信一 (東京大学出版会, 2016)
https://www.amazon.co.jp/dp/4130625070/
2. 『多変量解析入門―理論から実践まで』 著者: 岸本康弘 先に紹介した岸本康弘は、確かに多変量解析の専門家であるという情報は正しいですが、正確
ここで回答が止まってしまいました。
⭐実際のChatGPTと私のやりとり
問題点
つまり、日本文学だけのことではなかったのです。
私が使っているChatGPTは「May 3 version」です。
Wikipedia でChatGPTを調べたところ、
最新版 2023年3月23日 (42日前)
と明記されています。
GPT-4ということになります。
私は、現行のChatGPTの弱点に気づきました。
あたかも著者が実在したり、書籍が出版されているような体裁を整えていても検証してみると、事実と異なり、ボロが出てくるのです。
深く掘り下げた質問をすると、真っ当な回答が得られないということは、憂慮すべき事態と考えます。
さらに加えると、ChatGPTが紹介した書籍のアマゾンのリンクはすべて存在しません。
シンギュラリティ（技術的特異点）の話が時々話題になりますが、現状を見る限り、ＡＩが人間の頭脳を超えるというのは一部には当てはまっても、まだ超えることはできない分野があるのではないかと、私は考えています。
ＡＩの専門家ではないので、これ以上詳しいことは分かりませんが、少なくとも、無視できないほどの数の間違いが出てきたことに対して、早急に対策を講ずるべきだと思っています。
私が一番の問題と考えていることは、ビッグデータを収集・分析・抽出しているはずのＡＩが生成したデータの根拠となる出典元・出所が提示できないことです。
根拠が無いということになります。論理的な結論をもたらしていないということです。
このままでは、ChatGPTの信頼性が揺らぐといいますか、失われる恐れがあります。改良の余地が大いにあります。
設計思想といいますか、ディープラーニング（深層学習）が本当にできているのか疑問を抱いています。
私が「ChatGPTとの対話」を通じて経験した違和感が、１つや２ではないことはおわかりいただけたと思っています。
今後も、「ChatGPTとの対話」を続けていきます。
🔷編集後記
今回の一連の「ChatGPTと私の対話」のように、ChatGPTが間違うことがあるということは気に留めておく必要があります。自分で確認することを怠ってはいけないと肝に銘じました。
驚いたことは、ChatGPTが出典元を明示できなかったことです。
ChatGPTは日本文学だけではなく、他の分野の書籍とその著者の紹介に弱点があることが明らかになりました。
言い換えれば、ビッグデータを収集・分析・生成の中で偏りがあるか、間違ったデータを収集している可能性が高いということです。
⭐回想録
⭐マガジン （2023.05.05現在）
サポートしていただけると嬉しいです。 サポートしていただいたお金は、投稿のための資料購入代金に充てさせていただきます。