Claudeくん、MMLU課題を分類してみる

前記事のドメイン分類にのっとたら、MMLU課題57種類がどんなふうに分類されるかを、Claude sonnet3.5にやってもらった。

検分チェックしてないから、本当に57個あるのか、もともとの57課題のタイトル通りなのか怪しいけど、ざっくりと全体像を掴む参考になるかと思う。

---

MMLUの57課題を、3つの主要ドメインと3つの交互作用ドメインの計6つのドメインに振り分けて、テーブル形式で示します。以下が新しい分類です：

1. 客観的真理のドメイン (OT)

2. 主観的真理のドメイン (ST)

3. 創造的ドメイン (C)

4. 客観的真理と主観的真理の交互作用ドメイン (OT-ST)

5. 主観的真理と創造的ドメインの交互作用ドメイン (ST-C)

6. 創造的ドメインと客観的真理の交互作用ドメイン (C-OT)

Sonnet 3.5

注意点：

1. 一部の課題名は、直訳ではなく日本の教育システムに合わせて意訳しています。

2. 「College Medicine」（大学医学）と「Miscellaneous」（その他）は、内容が多岐にわたるため、このテーブルには含めていません。

3. 「道徳的シナリオ」は、その性質上、主観的真理 (ST) と客観的-主観的交互作用 (OT-ST) の両方に含まれています。

4. この分類は各課題の主要な特性に基づいていますが、実際には多くの課題が複数のドメインの要素を含んでいる可能性があります。

5. 創造的ドメイン (C) に分類される課題は限られており、主にマーケティングを挙げています。

この日本語版のテーブルにより、MMLUの課題をより理解しやすく、また各ドメインの特性をより明確に把握することができます。これは、日本語話者にとってLLMの評価や訓練を考える際に役立つでしょう。

以上 Sonnet 3.5 で生成

MMLUの57課題の元はこれ

MMLU論文から

---

#AI #AIとやってみた #やってみた #大規模言語モデル #Claude