【論文瞬読】Wikipedia風の記事を一から書く - 大規模言語モデルとSTORMの挑戦
こんにちは！株式会社AI Nestです。
最近、Wikipediaのような長い記事を大規模言語モデル（LLM）で自動生成する研究が注目を集めています。でも、実はこれ、けっこう難しい課題なんです。今日は、この課題に挑戦した面白い研究を紹介しますね。
タイトル：Assisting in Writing Wikipedia-like Articles From Scratch with Large Language Models
URL：https://arxiv.org/abs/2402.14207
所属：Stanford University
著者：Yijia Shao, Yucheng Jiang, Theodore A. Kanell, Peter Xu, Omar Khattab, Monica S. Lam
Wikipediaのような記事を一から書くのは大変
Wikipediaの記事って、よく調べられていて、構成もしっかりしていますよね。でも、こんな記事をLLMで一から書くのは簡単じゃありません。
従来の研究では、参考文献やアウトラインが最初から与えられていることが多かったんです。でも現実には、そんな前提は成り立たないことが多いんですよね。だから、LLMにWikipediaのような記事を最初から書かせるのは、かなりチャレンジングな問題なんです。
STORMという新しいアプローチ
そこで登場したのが、STORM（Synthesis of Topic Outlines through Retrieval and Multi-perspective Question Asking）という手法です。STORMは、記事を書く前の「pre-writing」の段階に着目しました。
STORMは大まかに以下のようなステップで記事を生成します：
関連トピックから多様な視点を発見
その視点に基づいて質問を生成し、信頼できる情報源を用いて質問に答える
収集した情報とLLMの内部知識を用いてアウトラインを作成
そのアウトラインに基づいて記事本文を生成
つまり、STORMは自動的に様々な視点から質問を生成し、その質問に答えることでトピックに関する情報を幅広く収集するんです。そして、その情報をもとにアウトラインを作り、最終的な記事を生成するわけですね。
実験結果と今後の課題
研究チームは、FreshWikiというデータセットを作成し、提案手法の評価を行いました。その結果、STORMで生成された記事は、ベースラインと比較して、より組織化され、網羅的であることがわかりました。
ただし、情報源のバイアスや無関係な事実の過剰な関連付けなどの課題も明らかになりました。生成された記事の中立性や検証可能性をどう担保するかは、今後の研究課題だと言えるでしょう。
所感
Wikipediaのような記事の自動生成は、LLMの応用としてとてもエキサイティングな分野だと思います。STORMのアプローチはユニークで、pre-writingの段階に着目した点が斬新ですね。
もちろん、まだまだ課題は多いですが、STORMの提案するアイデアは今後の研究の方向性を示唆していると思います。情報源のバイアスをどう軽減するか、事実間の関係性をどう適切に推論するかなど、解決すべき問題はたくさんありそうです。
でも、こういった研究が進んでいけば、いつかはLLMが自動的に信頼できる記事を生成してくれる時代が来るかもしれません。そうなれば、知識へのアクセスがより democratize されるはずです。私はそんな未来を楽しみにしております！