FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt Selection for Large Language Models

FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt Selection for Large Language Models

1. この研究では、大規模な言語モデル（LLM）から素早く精確な回答を引き出すための"Chain of Thought（CoT）"推論の利用に関心が集まっています。問題は、最適なプロンプトをいかに設計または選択するかということで、これはテストと修正の反復プロセスを必要とします。また、LLMがユーザーとの対話から学習した数学的問題解決能力をどのように物語性のあるライティングに応用するかについての研究は少ないです。

2. この研究の目的は、解釈可能性を向上させ、一般性と個別性の間のバランス原理を複数の領域のCoTプロンプト選択のシナリオの下で探求することです。そして、この課題を解決する新しいアプローチとして、私たちは連携型の論理ルール学習アプローチ（Federated Logic Rule Learning Approach、FedLogic）を提案します。

3. 本研究の着想は、多領域のCoTプロンプト選択問題を一連の確率モデリング問題に帰着させることから生まれました。LLM機能がルール生成器として働き、曖昧なスコアベースのルール選択と比較した場合、CoTプロンプト選択問題はどの程度複雑であるかを理解することができます。

4. この研究では、FedLogicが確率論的なモデリングフレームワーク内で広範囲の検索スペースを管理し、CoTのさまざまな分野でのパーソナライゼーションを達成する難しさを克服するための方法を提案しました。

5. この研究の効果性は、FedLogicがカルバック・ライブラーダイバージェンス（KL-Divergence）制約を二つ組み込むことで、LLMにおける複数ドメインのCoTプロンプト選択における最初の解釈可能で原則的なアプローチであることを証明しました。