シェア
YouTube動画LLMのキャリブレーション(Calibration)MMLUという超メジャーベンチマークの原論文で結構強調されているにも関わらず、MMLU関連で言及している人があまり見当たらないキャリブレーションについて説明していきます。
YouTube動画noteで日本語記事にしていない動画もありますので、よかったらYouTubeも高評価やチャンネル登録していただけると励みになります! MMLULLMのベンチマークデータセットは多数ありますが、今回はHendrycks et al. ICLR (2021)によるデータセット MMLU (Massive Multitask Language Understanding) について、原論文の内容を追う形でまとめていきたいと思います。