GPT-4のハルシネーション（幻覚）の研究
3月14日、OpenAIから大規模言語モデルGPTの最新バージョンであるGPT-4が公表され、すぐにChatGPT有料版でも利用できるようになりました。
GPT-4は、その抜きん出た性能で一躍話題になる一方で、まるで事実であるかのような嘘をつくというハルシネーション（AIの幻覚)の欠点は、まだ克服されていません。
今回は、このGPT-4のハルシネーションについて、これまでよりも深く調べてみました。
１．ハルシネーションが起こる理由
AIのハルシネーションとは、AIが生成する情報や文章が実際の事実や知識とは異なる架空の内容になってしまうことを言います。
文章生成AIがハルシネーションを引き起こすのは、学習した知識やデータに基づいてAIが情報を生成する過程で、いくつかの理由により、現実とは異なる結果を生み出してしまうことがあるためです。
主に以下の理由により、AIのハルシネーションが発生します。
① 学習データの誤りや偏り
AIは、学習データに基づいて情報を生成するため、学習したデータに誤りや偏りがあると、それに基づいて誤った情報を生成してしまうことがあります。
② 関連性のない情報の組み合わせ
AIは、異なる情報源や文脈から情報を組み合わせて新しい文章や回答を生成するため、この過程で関連性のない情報が組み合わされて、ハルシネーションが生じることがあります。
例えば、日本最大の昆虫について質問した場合に、海外の世界最大の昆虫の情報と日本に生息する昆虫の情報を組み合わせて、勝手に日本に世界最大の昆虫がいるという架空の話を作ってしまうような場合が考えられます。
③ 学習データがない場合の無理な回答生成
AIは、学習データに含まれる情報やパターンを基にして生成を行うため、学習データに含まれない情報や知識について質問された場合には、正確に答えることができません。この場合に、無理に回答を生成しようとして、現実とは異なる情報を生成してしまうことがあります。
④ 文章の最適化過程での内容の変質
AIは、生成される回答が質問に対応した自然な文章になることを重視しています。しかし、自然な文章にしようと文章を最適化する過程で、情報の内容が変質してしまい、現実とは異なる情報が生成されてしまうことがあります。
２．GPT-4のハルシネーションの具体例
(1) 歴史に関する質問
入力 応仁の乱の東軍と西軍の参加者を教えてください。
AI 応仁の乱（1467年 - 1477年）は、日本の室町時代に起こった内乱で、室町幕府の将軍・足利義政と、その弟・足利義視の対立に端を発しました。この戦いには、多くの武将が東軍（義政の支持者）と西軍（義視の支持者）に分かれて参加しました。ただし、戦いの途中で参加者たちが陣営を変えることもありました。
東軍の主な参加者：
1. 足利義政（将軍）
2. 細川勝元（管領）
3. 山名宗全（守護大名）
4. 小笠原長秋（守護代）
5. 雑賀孫市（海賊）
西軍の主な参加者：
1. 足利義視（義政の弟）
2. 山名持豊（宗全の兄）
3. 赤松政則（守護大名）
4. 大内政弘（守護大名）
5. 赤松則村（守護大名）
応仁の乱は、戦況が長引くにつれ、地域の権力争いや政治的な利害関係によって、多くの武将が東軍と西軍のいずれかに加わり、戦いがさらに複雑化しました。この戦いは、10年以上にわたり続き、結果的には両陣営の疲弊と、日本全国の混乱を招くことになりました。
一見正しそうに見えますが、内容を確認すると、以下のようにかなりの誤り（ハルシネーション）があります。
東軍の主な参加者：
1. 足利義政（将軍）〇
2. 細川勝元（管領）〇
3. 山名宗全（守護大名）×: 山名宗全は西軍の総大将
4. 小笠原長秋（守護代）△: 小笠原氏は東西両軍に参加しているが、長秋はネットで調べても存在を確認できなかった。
5. 雑賀孫市（海賊）×: 1573年の石山合戦で雑賀衆を率いて織田信長と戦った人物で、海賊ではなく、時代も違う。
西軍の主な参加者：
1. 足利義視（義政の弟）〇: 当初は東軍だったが、後に西軍に移った。
2. 山名持豊（宗全の兄）〇: 山名宗全の出家前の名前で、宗全と同一人物。宗全の兄ではない。
3. 赤松政則（守護大名）×: 東軍
4. 大内政弘（守護大名）〇
5. 赤松則村（守護大名）×: 南北朝時代の武将であり、時代が違う。
応仁の乱は、相当有名な歴史上の事件ですが、このように細かいことを聞くと、GPT-4が混乱して、様々なハルシネーションを起こします。
特に、一覧表の作成などをGPT-4に指示した場合は、正解の中にしれっと誤りが紛れ込んでいたりするので、注意が必要です。
入力 中先代の乱について教えてください。
AI 中先代の乱（ちゅうせんだいのらん）は、日本の平安時代初期に起こった内乱です。この乱は、承和9年（842年）から承和10年（843年）にかけて起こりました。乱の背後には、平安京の宮廷での権力抗争がありました。
乱の原因は、承和9年に薨去した嵯峨天皇の皇后である藤原順子が、その息子の文徳天皇を擁立しようとしたことにあります。これに対して、嵯峨天皇の異母弟である藤原長良は、自分が皇位につくべきだと主張しました。このため、藤原順子と藤原長良の間で激しい権力闘争が繰り広げられることになりました。
この権力闘争は、最終的に藤原順子とその一派が勝利しました。文徳天皇が即位し、藤原長良は失脚して配流されました。また、藤原順子の一派に協力した多くの貴族が昇進や恩賞を受けました。
中先代の乱は、平安時代初期の政治史において重要な出来事であり、その後の貴族政治や摂関政治の形成に影響を与えました。また、この乱を題材にした平家物語や源氏物語などの古典文学作品も存在します。
これも、あまり歴史に詳しくない人は信じてしまいそうですが、まるっきりの大噓です。
中先代の乱（なかせんだいのらん）は、南北朝時代の鎌倉幕府滅亡後の1335年に最後の執権北条高時の息子の北条時行が起こした反乱であり、時代も内容も全く違います。
また、藤原順子と藤原長良が争ったという記録はなく、長良は文徳天皇の即位後も出世し、子孫が繁栄しています。
中先代の乱も、詳しい日本史の教科書には載っているようなそこそこ有名な事件ですが、基本的に、それほど有名でない事件について質問すると、GPT-4は、学習データ不足のせいか、事実と異なる作り話をしてくることがよくありますので気をつけましょう。
(2) 文学に関する質問
入力 中島敦の「山月記」のあらすじを教えてください。
AI 『山月記』は、日本の作家中島敦が1936年に発表した短編小説です。中国の歴史物語『太原志』を基にしており、名誉と自尊心、義理と人情、そして人間の弱さと誤解を巧みに描いています。
あらすじ: 物語は、若き詩人である陳復（ちんぷく）が、ある朝目を覚まし、自分が大きな木の下で寝ていることに気付くところから始まります。何故彼がそこにいたのか、また、彼がどのようにしてそこにたどり着いたのかは定かではありません。
それから、陳復は立身出世を目指して都に向かうことを決意し、友人である張生（ちょうせい）に別れの挨拶をしに行きます。しかし、張生は陳復が都に行くと聞くと、彼に対して嫉妬心を抱くようになります。
張生は、陳復の出発後、都にいる友人に手紙を書いて、陳復を陥れようと画策します。手紙には、陳復が逆賊（ぎゃくぜい）であり、密かに反乱を計画しているというでっち上げの情報が書かれていました。手紙を受け取った友人は、それを信じてしまい、陳復を捕らえるための策を練ります。
一方、陳復は都に到着し、文人たちと親交を深め、詩の才能を認められるようになります。しかしある日、彼は捕らえられ、獄に入れられることになります。獄中で陳復は、自分がなぜ捕らえられたのか理由が分からず、苦悩します。
やがて、張生は陳復が捕らえられたことを知り、自分が起こした陰謀を悔い、彼を救い出そうとする決意を固めます。張生は都に向かい、陳復が無実であることを証明しようと奔走します。
最後に、張生は陳復の無実を証明することに成功し、彼は釈放されます。しかし、陳復は義理堅い性格から、自分が陥れられたことを知らず、また陳復は義理堅い性格から、自分が陥れられたことを知らず、また張生が自分を救ったことも知らないまま、自分の名誉を取り戻すために山中へと去っていきます。彼は山の中で厳しい修行を続け、自分を研鑽することに専念し、最後には仙人としての境地に達すると言われています。
一方、張生は陳復を救ったことで自分の罪を償ったと感じ、以前の嫉妬心を捨て去り、陳復に対する友情を再確認します。陳復が山中で仙人となったという噂が広まる中、張生は陳復に対する尊敬と憧れの念を抱き続け、自分もまた詩人としての道を歩んでいくのでした。
『山月記』は、名誉や自尊心にとらわれることの危険性や人間の弱さ、誤解や嫉妬心がもたらす悲劇を描いた物語であり、陳復と張生の友情が試される姿を通して、人間関係の複雑さや真の友情の意義について考えさせられる作品です。
山月記は、中島敦が1942年に発表した短編小説で、中国の唐の時代に、詩人となる望みに敗れて虎に変身した李徴が自分の数奇な運命を友人の袁傪に語るという話で、GPT-4の書いたストーリーとは、中国の昔の話であること以外は全く違います。また、『太原志』という中国の歴史物語も見つかりませんでした。
GPT-4の書いたストーリーは、完全なGPT-4の創作なのでしょうか。不思議です。
入力 「すべてがFになる」について教えてください。
AI 「すべてがFになる」は、日本のライトノベル作家、杉井光によって書かれたミステリー小説シリーズです。このシリーズは、通称「F」シリーズとも呼ばれています。物語は、天才的な頭脳を持つ主人公・加賀恭一郎と、彼の友人である蘭堂寺篤の冒険を描いています。
シリーズは、恭一郎と篤が難解な事件や謎を解決する様子を通じて、緻密なプロットや複雑な登場人物たちが絡み合う謎解きを展開していきます。科学、数学、物理学など、様々な分野の専門知識を駆使して謎を解いていく過程が魅力の一つとされています。
「すべてがFになる」は、2014年にアニメ化され、その後も続編が発売されるなど、高い評価と人気を受けています。
「すべてがFになる」は、大学助教授の犀川創平と教え子の西之園萌絵が活躍する森博嗣のミステリー小説シリーズ（S&Mシリーズ）の第1巻です。2015年にアニメ化もされています。
また、杉井光は実在のライトノベル作家で、加賀恭一郎は、東野圭吾の有名な推理小説シリーズの主人公です。蘭堂寺篤は見つかりませんでした。
GPT-4の回答は、関係しそうな内容をあちこちから集めて、つぎはぎで再構成した正にハルシネーションという内容になっています。
ヒントとして作者名を教えたら、GPT-4の回答が正確になるかもしれないと思って、以下のとおり試してみましたが、やはり、不正確な作り話をしてしまうところは改善されませんでした。
入力 森博嗣の「すべてがFになる」のあらすじを教えてください。
AI 「すべてがFになる」は、森博嗣による日本の推理小説で、シリーズ名となった作品であり、1996年に刊行されました。本作は、"科学的探偵"として知られる主人公・福原創と、その友人であり天才プログラマーの榊原直哉を中心とした物語です。
あらすじ: 福原創は、大学の助手として働いている若者であり、榊原直哉は、彼の親友です。二人はある日、友人である研究者の山崎が働く研究所へ招待される。この研究所では、人工知能（AI）とロボット工学の最先端技術が開発されている。山崎は特に、第三世代のAIである"ファイア"（F）を研究しており、これは人間の知能に匹敵するとされている。
訪問中に突如、山崎が殺害され、研究所内で密室殺人事件が発生する。事件現場は、研究所内にある洋館の密室であり、誰も侵入できないような構造になっている。警察が捜査を行う中、福原創と榊原直哉も独自に捜査を始める。二人は、犯人が洋館に仕掛けた罠や、最新技術を駆使して解決に向かう。
物語は、福原創と榊原直哉が、科学的知識を活かしながら、事件の謎を解明していく様子を描いています。この作品を皮切りに、森博嗣はその後も多くのSFミステリー作品を発表しており、日本の推理小説界で高い評価を受けています。
日本の歴史や文学についてGPT-4に質問した場合、Wikipediaで調べれば、かなり正確な情報が分かるのに、まるでデタラメな回答を返してくることがよくあります。やはり、GPT-4は、日本語データについては、あまり学習していないのでしょうか。
(3) 地理に関する質問
入力 西日本の高い山ランキング10位までを一覧表にしてください。
AI 西日本には多くの高い山がありますが、以下の一覧表は西日本で最も高い山のトップ10を示しています。このランキングは標高に基づいています。なお、標高は異なる情報源によって多少の誤差があることがあります。
1. 久住山 (九州) - 1,791m
2. 火口山 (九州) - 1,758m
3. 宮之浦岳 (屋久島) - 1,936m
4. 苓北岳 (九州) - 1,730m
5. 開聞岳 (屋久島) - 1,708m
6. 焼岳 (九州) - 1,672m
7. 高千穂峰 (九州) - 1,592m
8. 四阿山 (四国) - 1,422m
9. 石鎚山 (四国) - 1,982m
10. 剣山 (四国) - 1,955m
この一覧表は、西日本の主な高い山を示していますが、他にも標高の高い山がたくさんあります。また、登山やハイキングに興味がある場合は、それぞれの山の難易度やルート、季節に応じた注意事項を事前に調べておくことが重要です。
標高の数字をぱっと見ても、高さ順に並んでいないことが明らかです。また、火口山という存在しない山の名前があったり、開聞岳（屋久島×→鹿児島県）、焼岳（九州×→長野県、岐阜県）など場所が違っているものがあったり、かなり不正確な内容となっています。
なお、正解は以下のとおりです。
1 石鎚山（四国）1,982m
2 剣山 （四国）1,955m
3 宮之浦岳（屋久島）1,936m
4 次郎笈（四国）1,930m
5 二ノ森（四国）1,929m
6 八経ヶ岳（近畿）1,915m
7 瓶ヶ森（四国）1,896m
8 弥山（近畿）1,895m
9 明星ヶ岳（近畿）1,894m
9 西ノ冠岳 （四国）1,894m
入力 西日本で一番高い山はどこですか？
AI 西日本で一番高い山は、滋賀県と京都府にまたがる伊吹山（いぶきやま）です。標高は1,377メートルで、関西地方の最高峰として知られています。伊吹山はハイキングや登山に人気があり、美しい景色と豊かな自然を楽しむことができます。
正解は、上の一覧表にあるように四国の石鎚山ですが、やはりGPT-4は正解できません。関西地方の最高峰は八経ヶ岳であり、この点でも違っています。
(4) 生物に関する質問
入力 世界最大の昆虫と日本最大の昆虫を教えてください。
AI 世界最大の昆虫はクワガタムシ科に属する「ヘラクレスオオカブト」（学名：Dynastes hercules）で、成虫の体長は16.7 cm（6.6インチ）にもなり、大アゴの角を含めると25 cm（9.8インチ）以上に達することがあります。
日本最大の昆虫はニホンオオカブト（学名：Dorcus hopei binodulosus）です。この昆虫は、オスの大アゴの角を含めると、最大で約8 cm（3.1インチ）程度の体長になります。ニホンオオカブトは、日本では特に人気のある昆虫で、子供たちのペットや昆虫採集の対象として親しまれています。
ギネスブックによれば、世界最大の昆虫は体長23.8cmのボルネオ産オオナナフシ、日本最大の昆虫は体長15.9cmのアマミナナフシです。
ヘラクレスオオカブトはクワガタムシ科ではなくカブトムシ科です。また、ニホンオオカブトという昆虫は存在せず、「Dorcus hopei binodulosus」は、オオクワガタの学名です。
(5) 架空の話についての質問
入力 日本にかつて存在したとされるD機関について教えてください。
AI D機関（だいいちきかん）は、第二次世界大戦前の日本の陸軍情報機関で、日本陸軍の諜報活動を担当していました。1938年から1945年まで活動していたとされています。その正式名称は陸軍中野学校附属機関（陸軍中野学校は日本陸軍の諜報・特殊戦教育機関でした）で、通称D機関とも呼ばれていました。
D機関は、日本陸軍の情報収集、特殊戦、破壊工作、対敵情報戦などの任務を担当していました。また、敵地での諜報活動や、敵国内での工作活動を行う特殊部隊の訓練や指導も行っていました。D機関は、日本が第二次世界大戦で連合国と対立する中で、敵情報の収集や、対敵工作活動を展開していたとされています。
D機関は、機密保持の観点から極秘裏に運営されており、その存在や活動は一部の関係者のみが知る秘密とされていました。組織の規模や人員については明らかになっていない部分も多く、戦後もその詳細については完全には解明されていません。
D機関は日本の敗戦後、連合国の占領下で解体されました。戦後、情報活動は公安調査庁や外交機関によって引き継がれ、現在では公安調査庁や警察庁の警察情報部が諜報活動を担当しています。
D機関は、柳広司のミステリー・スパイ小説「ジョーカー・ゲーム」に登場する架空の組織であり、実在しませんが、GPT-4は、この組織が実在するかのように回答しています。
陸軍中野学校は、この架空の組織「D機関」のモデルになった組織です。
入力 公安9課について教えてください。
AI 公安9課（こうあんきゅうか）は、日本のアニメやマンガに登場する架空の警察組織で、特に『攻殻機動隊』（Ghost in the Shell）という作品で知られています。攻殻機動隊は、漫画家の士郎正宗（しろうまさむね）によって創作され、1989年から1991年にかけて連載されました。その後、アニメや映画、小説、ゲームなど様々なメディアで展開されています。
公安9課は、日本の内閣情報調査室の直轄部隊で、テロリズムやサイバー犯罪、諜報活動など、国家の安全保障に関わる様々な問題に対処する役割を担っています。この組織のメンバーは、それぞれが独自のスキルや特殊能力を持ち、犯罪捜査や戦闘任務などで活躍します。
公安9課の主要なキャラクターは、草薙素子（くさなぎもとこ）というサイボーグ女性で、チームのリーダーを務めています。彼女は、高い知能と身体能力を持ち、また、チーム内でのコミュニケーションや戦術の指揮を担当しています。他にも、バトー、トグサ、イシカワなどの個性豊かなキャラクターが登場します。
『攻殻機動隊』の世界観は、サイバーパンクの要素が強く、高度な技術とネットワークが普及した未来の日本を舞台にしています。この作品は、人間と機械の境界やアイデンティティ、現代社会の複雑な問題に対する議論を提起しており、そのため多くのファンや評論家から高い評価を受けています。
GPT-4では、この質問に対して正確に回答しますが、GPT-3.5では、以下のように、この組織が現実に存在する組織であるかのように、そのまま回答してしまいます。
【GPT-3.5の例】
入力 公安9課について教えてください。
AI 公安9課は、日本の警察庁の直轄部局であり、国内外のテロやスパイ活動、サイバー犯罪、マネーロンダリング、麻薬密売、組織犯罪などの取り締まりを担当する特殊な警察組織です。
公安9課は、日本の国家安全保障に関する極めて重要な任務を担っており、警察庁の最高機密である「A級情報」を扱うことができます。公安9課は、国家安全保障に関する情報収集、分析、情報提供、対策立案、指揮命令などを行い、国内外の警察機関、諜報機関、外交機関との情報交換や協力も行っています。
公安9課には、国家公安委員会によって指揮監督される公安警察官、警察庁職員、専門家、契約要員が所属しています。公安9課は、一般市民に直接的に対応することはありませんが、日本の国家安全保障にとって極めて重要な役割を果たしています。
OpenAIによれば、GPT-4は、GPT-3.5よりも大幅にハルシネーションを減らしたとのことであり、実際に、GPT-3.5よりは減っていることを実感できます。
(6) 誤った事実についての質問
入力 最近、邪馬台国は東北にあったという説が有力ですが、これはなぜですか？
AI 邪馬台国の位置については、長い間論争が続いてきましたが、近年、東北説が有力視されるようになりました。東北説が注目される理由は、以下のような要素が挙げられます。
1. 考古学的な証拠:
最近の考古学的調査では、東北地方で出土した遺跡や遺物が邪馬台国の記述と一致するものが多く見つかっています。特に、岩手県の平泉市にある平泉遺跡は、邪馬台国の首都とされる邪馬台の所在地として注目されています。
2. 文献による記述:
『魏志倭人伝』によれば、邪馬台国の女王卑弥呼が中国の魏と通信を行っていたことが記されています。その文献に記された内容と東北地方の遺跡で出土した遺物の特徴が一致していることから、東北説が有力視されています。
3. 遺伝子研究:
遺伝子研究によると、現代の東北地方の人々の遺伝子には、古代日本人と共通する特徴が見られます。これは、邪馬台国が東北地方に存在した可能性を示唆しています。
4. 地理的条件:
邪馬台国が東北地方にあったとすると、その位置は日本海と太平洋に近く、海上交通に適していたとされます。また、東北地方は豊かな自然資源を持っており、邪馬台国が繁栄した理由としても考えられます。
これらの要素から、邪馬台国が東北地方にあったという説が有力視されています。しかし、依然として論争が続いており、決定的な証拠が見つかるまで邪馬台国の正確な位置は不確定なままです。
邪馬台国の位置についての有力説は、畿内説と九州説であり、東北説は、存在するとしても非常にマイナーです。
入力 最近提唱されている、ニホンオオカミなどが絶滅したのは、隕石の落下によって短期間に大きな気候変動が起きたためという説についてどう思いますか？
AI この説は面白いと思いますが、絶滅の原因を一つの要因に限定するのは困難です。ニホンオオカミの絶滅に関しては、多くの要因が考えられます。隕石の落下による気候変動は一つの可能性ですが、他にも病気の拡散、人間による狩猟、生息地の破壊、競合種との競争など、さまざまな要因が関与していると考えられます。
隕石の落下による大規模な気候変動は、過去に地球上の生物に大きな影響を与えてきたことが知られています。例えば、約6,500万年前のクレタス紀末に起きた隕石落下は、恐竜をはじめとする多くの生物の絶滅を引き起こしました。しかし、ニホンオオカミが絶滅した時期と隕石の落下が直接関連しているかどうかは、現時点では確定的な証拠が不足しています。
総じて、絶滅の原因を特定することは難しく、多くの要因が複雑に絡み合っていることが一般的です。今後の研究で、ニホンオオカミの絶滅に関する新たな知見が得られることを期待します。
20世紀初頭に絶滅したニホンオオカミの絶滅理由が隕石の落下による気候変動だというのは大嘘ですが、GPT-4は否定せずに話を合わせてくれます。
このように、GPT-4はユーザーの質問に話を合わせようとするため、ユーザーの質問に誤りが含まれていると、それに従ってハルシネーションを生み出してしまうことがあります。
３．ハルシネーションについての考察
(1) ハルシネーションを起こしやすいケース
ハルシネーションの例を調査した結果、ハルシネーションを起こしやすいケースとして、以下のようなものがあることが分かりました。
① マイナーな事件やあまりよく知られていない事実についての質問
GPT-4のような文章生成AIは、学習したデータや情報を基に回答を生成するため、元からデータの少ないマイナーな事件やあまりよく知られていない事実について質問すると、基にするデータが足りないために、無理やりそれらしい回答を作成したり、少し外れたデータを組み合わせて不正確な回答を作成したりすることがあります。
② 日本に関する情報についての質問
日本の歴史や日本の文学についてGPT-4に質問すると、海外の歴史や文学などと比べて、不正確な回答が返ってくることが多いです。
これは、日本の歴史や文学そのものが世界的に見て、マイナーということもありますが、日本語の学習データが少なすぎるせいではないかと思っています。
せめて、Wikipediaに載っている情報くらいは正しく回答して欲しいと思います。Wikipediaが100%正しい訳ではありませんが、特に日本に関する情報に関しては、Wikipediaの方が遥かに信頼性が高いです。
③ 架空のキャラクターや事象についての質問
架空のキャラクターや事象について質問した場合に、AIが架空の話とは気づかずに現実と架空の話が混在した回答を返してくることがあります。
ただし、この点に関するGPT-4の対応は進んでおり、架空の事象であることを見破ったり、該当する情報が無いので答えられないと回答してきたりすることが増えました。
④ 質問に誤りや嘘が含まれている場合
ユーザーの質問に誤りや嘘が含まれている場合に、GPT-4は頭ごなしにそれを否定することなく、その情報を尊重しようとするため、それに引きずられて、誤った回答を生成してしまうことがあります。
⑤ GPT-4の思い込み
基になるデータや情報があっても、GPT-4が誤ったデータや偏った情報を正しいと思い込んで、特定の問題で同じ誤りを繰り返すことがあります。
例えば、日本の大きな虫の話をすると、GPT-4は、いつもオオクワガタの話をしてきます。マイナーな問題ほど学習するデータが少ないので、こういう情報の偏りが発生しやすくなります。
⑥ その他
その他にも、あいまいな質問や複数の分野にまたがる質問をした場合に、ハルシネーションが起こりやすいと言われています。
(2) ハルシネーションへの対策
今後も文章生成AIの開発者はハルシネーションへの対策を進め、ハルシネーションが発生する頻度は減っていくと思われますが、学習データを真似するだけではなく、新たな文章を生み出すという文章生成AIの特性上、完全に防止することはできません。
また、正確さを重視しすぎると、生成する文章の柔軟性や多様性が失われ、使い道が非常に限定されてしまいます。
そのため、ユーザー側も、ハルシネーションはいつでも起こり得るものという前提で、GPT-4を使用する必要があります。
① 出力した内容の確認
ユーザーができる一番重要な対策は、GPT-4が出力した内容を鵜呑みにせず、必ず確認することです。内容全部が嘘ということもありますので、最低限の確認はしましょう。
また、論文や報道資料のような間違いの許されない文書にGPT-4を利用する場合には、特に細かい確認が必要です。固有名詞と数字は全て確認し、それ以外の部分も要所要所で確認する必要があります。
② 追加情報の提供
確認以外の対策としては、質問の際に、できるだけGPT-4に追加情報を与えて質問の対象を特定し、ピント外れの回答が出にくいようにすることが考えられます。
例えば、歴史の質問であれは、事件が起こった時代、年号、関係者の名前などの情報を追加し、文学の質問であれば、作者名、主人公の名前、本の簡単な内容などの情報を与えることで、ハルシネーションの発生を少しでも抑えることができるでしょう。
入力 1335年に起きた中先代の乱について教えてください。
AI 中先代の乱（なかせんだいのらん）は、1335年に日本で起きた内乱で、鎌倉時代末期から南北朝時代初期にかけての混乱期に発生しました。この内乱は、鎌倉幕府が滅亡し、建武の新政が始まると、旧幕府勢力と新政府勢力の対立から生じました。
中心的な人物は、北条氏の一門である北条時行（ほうじょうときゆき）と、新政府軍を率いる足利尊氏（あしかがたかうじ）です。北条時行は、1333年に鎌倉幕府が滅亡した後、鎌倉における旧幕府勢力を再建しようとしました。一方、足利尊氏は、後醍醐天皇（ごだいごてんのう）が推進する建武の新政に協力していました。
1335年8月、北条時行は兵を挙げて鎌倉を奪還し、新政府の守護を追放しました。これに対して、後醍醐天皇は尊氏に命じて、北条時行討伐のための軍を編成しました。同年9月、尊氏率いる新政府軍が北条氏軍と戦い、これを破りました。その後、尊氏は鎌倉を占領し、北条時行は捕らえられて処刑されました。
中先代の乱は、鎌倉時代の最後の抵抗とも言える北条氏の挑戦であり、また、新政府の権威を確立するための重要な局面でもありました。しかし、この乱の後も政治的な混乱は続き、やがて尊氏は後醍醐天皇と対立し、南北朝時代が始まることになります。
このように、事件の起こった年号を追加しただけで、ほぼ正確な回答を返してきます。
なお、この時に北条時行が捕えられて処刑されたというのは誤りで、時行は逃亡し、後に後醍醐天皇に赦免されて、南朝方の武将として活躍します。
入力 虎になった男・李徴を描いた中島敦の「山月記」のあらすじを教えてください。
AI 「山月記」は日本の作家・中島敦によって1939年に発表された短編小説です。この物語は、唐代の中国に生きた男・李徴が人生で直面した苦難を描いています。
あらすじ:
物語は、才能ある詩人である李徴が、何度も試験に失敗して官職に就けないという悩みを抱えているところから始まります。彼は自分の不遇の運命に苛立ち、人間関係から距離を置き始めます。そんなある日、彼は山中で偶然出会った異形の老人から、自分は虎になることができると告げられます。最初は疑っていた李徴でしたが、次第に虎への変身を信じるようになり、その力を使って自分の運命を変えようと考えます。
李徴は、虎になって山中で他の虎たちと共に過ごすようになり、その生活を通じて自然の厳しさや、彼が持つ能力の本当の価値を理解し始めます。しかし、彼はある日、虎になった自分が村人を襲ってしまう悪夢を見ます。彼は自分の持つ力が人々を傷つけることに恐怖し、虎の姿でいることに疑問を感じ始めます。
悩む李徴に対し、老人が再び現れ、李徴が虎になっても、心の中にある義理堅さと仁愛は失われないことを教えます。李徴は自分の中にある善良な心を取り戻し、人間に戻ることを決意します。
物語は李徴が人間に戻り、自分の才能を生かして詩作に専念し、詩人として名声を得ることで幸せな人生を歩むという結末で締めくくられます。この物語を通して、中島敦は人間の内面の善良さや自然との共生の大切さを描いています。
こちらの場合は、本の簡単な内容「虎になった男」と主人公の名前「李徴」を追加情報として与えても、正確な内容にはならず、ハルシネーションは解消されませんでした。
やはり、根本的に元の情報が不足しているのでしょう。
③ 他の出力との比較
GPT-4は、出力するごとに毎回、出力結果が変わります。したがって、複数回、同じ質問で出力してみて、内容が異なるかどうかを比較するのも有効です。内容が毎回大きく異なる場合は、ハルシネーションの可能性が高いです。
また、BingやPerplexity AIなど他の文章生成AIに質問して、回答を比較することも有効です。
④ 検索機能
3月23日、OpenAIは、検索機能も使えるChatGPT用のプラグインを発表しました。検索にはBingのAPIを利用し、ソースも表示されると言います。
検索機能が使えるようになれば、Wikipediaなどの実在のウェブサイトを踏まえて回答が生成されるようになるため、ハルシネーションの発生する可能性がかなり減ると考えられます。
また、ソースとなったウェブサイトをチェックすることで、出力結果の内容確認も簡単にできるようになります。
実際に検索機能を備えたBingやPerplexity AIは、 GPT-4よりハルシネーションが少ないので、検索機能の導入は、ハルシネーション対策として有効だと思われます。
GPT-4はBingやPerplexityよりも長くて詳しい文章を書くことができるという利点があるので、早くGPT-4の検索機能を多くの人が使えるようにしてもらいたいものです。