大規模言語モデルがEmergent Abilities（※）を持つと思われている理由の一つには、人間のバイアスがあるという説

論文：https://doi.org/10.48550/arXiv.2304.15004

スタンフォード大の研究者らによる論文より。モデルのパフォーマンススコアは研究者が選ぶ評価指標に大きく依存するため、モデルが持つ真の能力を適切に評価するのは実は難しいとのこと。

そのため、実際のタスク解決能力にどれほど相関性があるのかを調査すべきだと示唆されています。

※Emergent Abilities（突然現れる能力）とは、LLMや深層学習モデルが特定のタスクにおいて、モデルのサイズや訓練データ量が増加することによって、突然顕著な性能向上や予想外の能力を発揮する現象のこと。