Prompting or Fine-tuning? A Comparative Study of Large Language Models for Taxonomy Construction
本研究の学術的背景と核心となる「問い」はsoftware modelingや自然言語処理（NLP）でよく使用されるタクソノミー（分類体系）の効率的な構築方法を探ることです。タクソノミーは一連の構造的な制約を伴いますが、手動での構築は時間がかかり、全体像が不完全で、維持することがコストかかかります。大規模な言語モデル（LLMs）を利用した研究では、人間の入力(promptingと呼ばれる)によってこれらのモデルをリトレーニングせずにNLPタスクに役立てることができることが示されました。しかし、自動化されたタクソノミー構築の既存手法は、主に言語モデルのパラメータを調整する方法（fine-tuning）を考慮しています。そこで、この研究の中心的な問いは、「構造的な制約を考慮しながら新たなタクソノミー構築の枠組みを開発し、promptingとfine-tuning関連の手法を比較評価することで、どちらがより有効であるのか？」となります。
本研究の目的は、タクソノミー分類体系を効率良く、正確に構築する新たな手法を開発し、その結果を明らかにすることです。学術的な独自性と創造性としては、先行研究ではあまり注目されてこなかったpromptingとfine-tuningの比較評価を行い、タクソノミー構築への適用性をシステマティックに分析しました。
NLPの分野での大規模言語モデルの活用研究が進んでる中で、特にLLMsでのpromptingが効果を発揮していることから、これをタクソノミー構築に適用できないかという着想へと至りました。また、既存在手法である言語モデルのfine-tuningも比較対象とし、新しいコンピュータ科学のタクソノミーデータセットの作成を通じて、両者のパフォーマンスを評価しました。
本研究で明らかにされたことは、データセットの訓練がなくても、promptingのアプローチがfine-tuningベースのアプローチを上回る結果が得られたことです。結果として、訓練データセットが少ない場合でも、fine-tuningとpromptingのパフォーマンスギャップは拡大します。ただし、fine-tuningによって生成されたタクソノミーは、すべての制約を満たすために後処理が容易である一方、promptingによって生成されたタクソノミーの制約違反を処理することは難しくなります。
本研究の有効性検証は、ハイパーニムタクソノミー（上位下位関係を基にしたタクソノミー）と新たに開発したコンピュータサイエンスのタクソノミーデータセットを用いた比較試験により行われました。この結果、何も訓練を受けていなくても、promptingはfine-tuningを上回り、小さいデータセットであればそのギャップは更に広がるという事実が明らかとなりました。