ChatGPTに歴史の解説記事を書けるのか検証してみた
こんにちは。こんばんは。
昨今、あらゆる方面で生成AIが話題になっています。会話をしたり、レポートを書いたり、プログラムを作成したり、様々なことができるため、その可能性に対して不安と期待、悪用への恐れが危惧されています。近い将来のうちには人間の能力を追い越すのではないかと心配する人もいるでしょう。
その中でもダントツに有名なのがOpenAIが開発したChatGPTという生成AI。
論文の要約からビジネスメールの作成まで色々な事が一瞬でできてしまう超優秀なChatGPTですが、例えば歴史上の人物や出来事について、正確な解説をすることは出来るのでしょうか?
私はこれまでnoteに歴史に関する疑問に答えるような記事を幾つか投稿し、これからも投稿する予定ですが、ChatGPTに歴史の解説記事を書かせたら、どれくらいのクオリティーの記事が完成するのでしょうか。もし私が自分の手で書いてきた記事よりもChatGPTの記事が良ければ、来週からそっちに記事作成を任せているかもしれません。
では、早速試してみましょう。
今回は超シンプルな記事をChatGPTさんに書いてみましょう。お題は「徳川家康について」。まずシンプルにChatGPTに「徳川家康について教えて」と聞いてみたら、どのような返答が来るのでしょう?(なお、学生の私には有料版を買うお金がないので、無料版のChatGPT3.5に聞いています)
答えがこちら
皆さんはこの回答を見てどう思うでしょうか?
歴史好きの方ならすぐに気づくのは、関ヶ原の戦いの解説が少し間違っていることでしょう。ChatGPTによると、関ヶ原の戦いで家康は豊臣氏を破ったこととなっていますが、実際には豊臣氏と戦ったというよりも生前に秀吉に仕えていた武将たちが東軍西軍に分裂して争ったという見方の方がより正確だと思うので、100%間違いとまで言えるかは少し微妙なもののやはりChatGPTの説明は不十分に感じます。
とはいえ、それ以外にはっきり間違いと呼べるものはまあなさそうという印象で、概ね正しい説明だと思います。
ただやはり記事としてはあまりに短すぎますし、字数が少ないこともあって言っていることがぼんやりとしていて家康に関する詳しいことがこの文章からは分かりません。加えて、この中で述べられているのはほとんど関ヶ原の戦いと江戸幕府の開幕についての話で、幼少期や大坂の陣の話がスルーされているのが気になります。
そこで、字数を意識した聞き方をしてみました。「徳川家康について1000字で教えて」と質問した答えがこちらです↓↓↓
ChatGPTに1000字の長文を書かせると、一気にあちこちでおかしいことが起き始めます。そこまでの歴史通でなくても、これは変だぞと思わずにはいられない箇所が複数見つかるかと思います。私も家康マニアではありませんが、自分が気付いた範囲で段落ごとにおかしいところを指摘しようと思います。
1段落目はまあ良いでしょう。しかし2段落目から少し変なことがかかれています。一つは家康が安城市で生まれたという文言。ただし、実際には家康は今の岡崎市に岡崎城で生まれたので、明らかな誤りです。その後の「三河国の有力な戦国大名・今川義元の元で奉公」という表現には目を瞑ったとしても、その後の「義元の娘・亀姫との婚姻」はどこからどう見ても間違いです。なぜなら、亀姫は家康自身の娘であり、家康は自分の娘と結婚するというやばいことはさすがにしていないからです。こういう情報はネットで探せばすぐに見つかるのに、どうしてChatGPTがこんな盛大なミスをするのかむしろ不思議なくらいです。
3段落目ははっきり言ってさらにひどいです。1582年には本能寺の変が起きて織田信長が討たれたことはほぼ全ての日本人が知っている話ですが、ChatGPTはこのときに今川が滅亡したと勘違いしています。その次もミスが多すぎてわざわざ言う必要がないくらいです。
4段落目はもはや論理的におかしい内容があります。「家康は西軍に属し、敵対する西軍を破り」というのは歴史を知っている知らない関係なく間違っていると分かりますよね。また、関ヶ原の戦いで秀頼を破って遺領を獲得したという説明もおかしいですよね。
後半の4段落は前半に比べればまだましです。100%間違っていると言える内容はあまりないものの、全体的にぼんやりとした説明で、読者はそこまで有益な情報を得られないかとおもいます。
ということで、びっくりするくらいミスの多い文章で、AIが得意そうな情報や論理で初歩的な間違いが散見されます。
そうは言っても、私の聞き方が悪かっただけかもしれない。最後に少し違う聞き方をしてみました。
参考文献を明示すれば、それに基づいて多少正確な説明をしてくれるのでhないかと期待しましたが、結果はあまり変わらず。関ヶ原の戦いで家康が東軍であったことを認識しているのは進歩かもしれませんが、それでも生まれた場所が尾張になっていたり、あちこちでミスや不完全な説明が見受けられます。
そして、今回一番ひどいかもしれないのが参考文献。ここでChatGPTは三つ挙げています。小和田哲男先生は有名な歴史家で徳川家康に関する本も執筆されているためまだ良いとして、他の二人は私の調べた限り歴史を研究している人物ではありません。吉川英治さんは歴史小説家ということらしいですが、『徳川家康の研究』という本はどうも書いていなさそうです。また、石川卓治さんは調べましたが、歴史に関連する人物は一人も見つけられませんでした。まあ、実際にいたとしても、ChatGPTが家康についてあやまった説明をしているのに変わりはありません。
ということで、ChatGPTに歴史のことを解説してもらった結果、まだまだ修正点がたくさんあるというのが分かりました。しばらくは自力で文章を書き続けようと思います。みなさんがもし使う場合には、AIの作った文章に何度も目を通して修正することをお勧めします。
今回はあくまで無料版を使ったので、もし有料版や他のAIでもっと上手く文章が書ける場合は是非コメント等で教えてください。
では、また。
この記事が気に入ったらサポートをしてみませんか?