Survey of Hallucination in Natural Language Generation

Survey of Hallucination in Natural Language Generation

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」は？
自然言語生成（NLG）の技術は、トランスフォーマー型の深層学習モデルの開発により画期的な進歩を遂げています。これにより、文章の要約、対話生成、データからのテキスト生成などのタスクが流暢でコヒーレント（一貫性のある）なものになりました。しかしながら、深層学習に基づく生成は、意図しないテキスト（「ホールロジネーション」）を生み出す傾向があり、システムの性能を低下させ、実世界の多くのシナリオでユーザーの期待に応えられません。このホールロジネーション問題を対処するための研究が行われていますが、これまでまとまった形でレビューされたことはありません。そこで本研究の問いは、「現状のホールロジネーション問題とその対策についてどのように整理し、理解を深めることができるか？」となります。

2. 本研究の目的及び学術的独自性と創造性は？
本研究の目的は、NLGのホールロジネーション問題についての研究進展と課題について、広範で包括的な概観を提供することです。その学問的な独自性と創造性は、まず一般的な評価指標、緩和方法、未来の方向性を概観し、その上で各タスクごとの研究進展について詳細に触れるという、包括的で系統的なアプローチにあります。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは？
NLGの開発における新たな課題として浮上してきたのが、「ホールロジネーション」問題です。この問題について研究が行われてきましたが、それらが総合的にまとめられることはありませんでした。本研究はこれまでの研究を包括的にレビューし、分析を試みることで、新たな文脈とフレームワークを提供することを目指しています。

4. 本研究で何をどのように、どこまで明らかにした？
本研究では、ホールロジネーションの問題に対する一般的な評価指標、緩和方法、未来の方向性を概観しました。さらに、具体的なタスクである文書の要約、対話生成、生成的な質問応答、データからのテキスト生成、機械翻訳、視覚言語生成について、研究の進展とホールロジネーション問題の現状を詳細にまとめました。

5. 本研究の有効性はどのように検証した？
本研究は包括的なレビューという性質上、特定の実験による有効性の検証は行われていないと思われます。それよりは各研究の結果や方法をあまねく調査し、それを通じてホールロジネーションという問題の全体像を描くことが目指されています。