【論文瞬読】大規模言語モデルに構造化された出力を要求するとどうなる？驚きの研究結果とその意義

2024年8月26日 13:49

こんにちは、株式会社AI Nestです。今日は、大規模言語モデル(LLMs)に構造化された出力フォーマットを要求することが、モデルのパフォーマンスにどのような影響を与えるかについて調査した興味深い研究を紹介します。

タイトル：Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large Language Models
URL：https://arxiv.org/abs/2408.02442
所属：Appier AI Research, National Taiwan University
著者：Zhi Rui Tam, Cheng-Kuang Wu, Yi-Lin Tsai, Chieh-Yen Lin, Hung-yi Lee, Yun-Nung Chen

研究の背景と目的

LLMsは、GPT-3やGPT-4に代表される大規模な事前学習済み言語モデルで、自然言語処理の分野で大きな注目を集めています。これらのモデルは、少ない学習データでも優れたパフォーマンスを示すことができ、質問応答、文章生成、要約、翻訳など、幅広いタスクに応用されています。

しかし、実際のアプリケーションでLLMsを使用する際には、モデルの出力を構造化されたフォーマット(JSON, XML, YAMLなど)で取得することが求められることがあります。これは、出力を解析してデータベースに保存したり、他のシステムと連携したりする際に必要になります。

ただ、LLMsに構造化された出力フォーマットを要求することが、モデルのパフォーマンスにどのような影響を与えるかについては、これまであまり研究されていませんでした。

そこで、この研究では、構造化された出力フォーマットがLLMsのパフォーマンスに与える影響を、推論タスクと分類タスクを用いて実験的に調査しました。

実験の方法と結果

研究では、LLMsに構造化された出力を要求する方法として、以下の3つのアプローチを定義しました。

JSON mode: 出力をJSONフォーマットに制限する方法
Format-Restricting Instructions (FRI): 出力フォーマットを指定する命令をモデルに与える方法
NL-to-Format: 自然言語で出力を生成した後、それを構造化フォーマットに変換する方法

これらのアプローチを用いて、推論タスクと分類タスクにおけるLLMsのパフォーマンスを評価しました。推論タスクとしては、算術問題(GSM8K)、最後の文字の連結(Last Letter Concatenation)、オブジェクトのシャッフル(Shuffled Objects)を使用し、分類タスクとしては、医療診断(DDXPlus)、金融(MultiFin)、スポーツ(Sports Understanding)、ステレオタイプ(NL-Task 280)を使用しました。