Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

Flacuna: Unleashing the Problem Solving Power of Vicuna using FLAN Fine-Tuning

1. 本研究の学術的背景，研究課題の核心をなす学術的「問い」は何ですか？
大規模言語モデル（LLMs）を構成するエンコーダー・デコーダーまたはデコーダーのみの構造を利用するLLMsの性能に関するINSTRUCTEVALの発表により、価値ある知見が提供されています。一方で、T5をベースとするLLMsは、FLAN-T5など、一般的な問題解決スキルが必要なタスクにおいて、最新のデコーダーベースのLLMs（LLAMAやVICUNAなど）よりも優れたパフォーマンスを示し続けています。本研究の学術的「問い」として、何故T5をベースとするLLMsが一般的な問題解決スキルが必要なタスクにおいて、デコーダーベースのLLMsよりも高い性能を発揮するのかを探ることが挙げられます。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
本研究の目的は、VICUNAという大規模言語モデルを研究し、FLANMINIというカスタマイズされた instruction dataset を用いてfine-tuning を行うことで、FLACUNAという強化型大規模言語モデルを提供することです。独自性と創造性は、様々なコード関連のデータセットやChatGPT/GPT-4から派生した会話型データセットも含まれるFLANデータセットに基づくカスタマイズされたデータセットを使用したことにあります。また、本研究では、大規模言語モデルに対する全体的な理解を深めるため、これら大規模言語モデルの性能に対するPre-training data, Backbone architecture, Instruction datasetという三つの要因に着目しています。

3. 本研究の着想に至った経緯や、関連する国内外の研究動向と本研究の位置づけは何ですか？
本研究は、大規模言語モデルの理解を深めることを目的としています。T5をベースとするLLMsが一般的な問題解決スキルを持つタスクにおいて優れたパフォーマンスを発揮する理由を明確にすることが、本研究の着想の一つです。この分野では近年、膨大な量のテキストデータを使用して自己教育する機械学習モデルの発展が注目されています。

4. 本研究で何をどのように、どこまで明らかにした？
本研究では、T5をベースとするLLMsが一般的な問題解決スキルを持つタスクにおいて、デコーダーベースのLLMsよりも高い性能を発揮する理由について、fine-tunedVICUNAを使用したカスタマイズされたデータセットFLANMINIによるFLACUNAの実験により、データセットがその要因の一つであることが明らかになりました。また、FLACUNAは、多様なベンチマークデータセットにおいて、INSTRUCTEVALでのさまざまなプロットにわたって、顕著な改善を実現しました。

5. 本研究の有効性はどのように検証した？
本研究では、カスタマイズされた instruction dataset を使用してflacunaの実験を行い、検証ました。FLACUNAの実験結果は、多様なベンチマークデータセットにおいて、INSTRUCTEVALでのさまざまなプロットにわたって、顕著な改善を示しました。また、このモデルは一般的な問題解決スキルを要するタスクにおいて高い性能を発揮しています。