論文紹介: 翻訳タスクでLLMは意味的な整合性も学習する

英語の学習データセットでプレトレーニングを行ったLLMを、翻訳タスクのデータセットでファインチューニングすることでの非英語の能力を強化する場合の効果を整理した論文が発表されていました。

詳しくは、リンク先を参照お願いします。

Extrapolating Large Language Models to Non-English by Aligning Languages

• 翻訳タスクをデータセットに加えることで、翻訳タスクに加えて意味的な整合性（セマンティック アライメント）も学習できる（Figure 1, 2）

• 翻訳タスクのデータを増やすことで、LLM内の意味の整合性が強化され性能が向上する（Figure 3）

• 英語から非英語への翻訳データと、非英語から英語への翻訳データは両方ともセマンティック アライメントの学習に有益ではあるが、翻訳データのターゲット側に英語以外のテキストを配置するとより良い効果が得られる（Figure 3）

• 翻訳の性能: Y（意味的な整合性の指標として）と、データの量: x とのスケーリング則を提案

Y: 翻訳パフォーマンス、x: データ量、α,β: パラメータ、γ: 英語との類似度

各言語特有のドメイン知識以外は、英語での推論性能が高いモデルを翻訳データでファインチューニングして利用するのが有効そうということで、（みんな薄々気づいていたは思いますが）、実験データも含めて整理されており興味深い内容だと思いました。

誤りや論点不足などあれば是非コメントいただけると幸いです。