SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding

SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding

1. **学術的背景、学術的「問い」**
大規模な言語モデル（LLM）は、オープンドメインの自然言語処理（NLP）タスクにおいて印象的な能力を示しています。しかしながら、LLMは常に制限された出力と入力フォーマットを持つ自然言語理解（NLU）タスクにおいては、少々自由すぎる場合があります。LLMのNLUタスクにおけるパフォーマンスは、プロンプトやデモンストレーションに大いに依存し、イベント抽出やエンティティタイピングといった代表的なNLUタスクを行う能力が乏しいことが指摘されています。この課題に対し、本研究では「オープンドメインのNLUに特化した、特別な強化を施したモデルを設計し、開発することは可能か？」という問いに取り組みます。

2. **研究の目的・独自性・創造性**
本研究の目的は、オープンドメインの自然言語理解を強化した自動回帰モデル、SeqGPTを提供することです。全てのNLUタスクを2つのアトミックタスク（基本的な単位のタスク）に分解し、入出力の形式を固定しつつ、ラベルセットは任意に変化させるというアプローチを採用しています。また、微細にラベル付けされたデータを用いて始めにモデルの指導（instruction-tuning）、その後様々なドメインに渡る152のデータセットからなる233の異なるアトミックタスクでさらに微調整を行っています。これは既存のアプローチとは一線を画した独自の手法であると言えます。

3. **着想の経緯・研究位置付け**
本研究の発想の源泉は、大規模言語モデルが特定のNLUタスクでは成績が不十分な点からきています。その解決策として、制約された入力と出力フォーマットをもつアトミックタスクを用いることを考案しました。また、既存のモデルが広範囲のNLUタスクを行うための新たなアプローチとして、本研究は位置付けられます。

4. **研究で何をどのように、どこまで明らかにした**
本研究では、SeqGPTという新モデルを開発し、その分類能力と抽出能力が優れており、未知のドメインの言語理解タスクを適切に実行できることを明らかにしました。また、データとモデル規模のスケーリングやタスク間の転送に関する実証的な研究も行いました。

5. **研究の有効性の検証**
SeqGPTの有効性は、実験結果を通じて示されています。実験では、SeqGPTが適切な分類や抽出を行い、未知のドメインの言語理解タスクが可能であることが示されました。データとモデルの規模のスケーリング効果、またタスク間の転送効果も実験的に検証されています。