MMLUデータセットとは何か: LLMの性能測定

YouTubeチャンネル『Lightning Summary』（英語）において、運営側（弊社）が自主的に製作した動画の日本語原稿＋αです。主にLLM関係の学術研究の紹介をします。

YouTube動画

noteで日本語記事にしていない動画もありますので、よかったらYouTubeも高評価やチャンネル登録していただけると励みになります！

MMLU

LLMのベンチマークデータセットは多数ありますが、今回はHendrycks et al. ICLR (2021)によるデータセット MMLU (Massive Multitask Language Understanding) について、原論文の内容を追う形でまとめていきたいと思います。