現代の医療は、データに基づく意思決定が求められる時代に突入しました。
そこで注目されるのが、Massive Multitask Language Understanding（MMLU）です。
本記事では、MMLUの基本からその性能評価までを紹介し、皆さんの業務にどのように役立つかを探っていきます。
MMLUとは？多機能言語理解ベンチマークの基礎
MMLU（Massive Multitask Language Understanding）とは？
MMLUは、様々な分野のタスクに対する言語モデルの性能を評価するためのベンチマーク（評価基準）です。
このベンチマークは、57種類の異なるタスクをカバーし、モデルがどれだけ多様な知識と問題解決能力を持っているかを評価します。
タスクには、数学、歴史、コンピュータサイエンス、法律などが含まれます。
具体的には、MMLUは以下のような質問に対するモデルの回答を評価します：
- 歴史：アメリカ独立宣言が署名された年は？
- 数学：x + 2 = 5 を解いてください。
- コンピュータサイエンス：Pythonのforループの使い方を説明してください。
これらの質問を通じて、言語モデルがどれだけ正確に、そして迅速に正しい回答を導き出せるかを測定します。
MMLUのタスクとその性能評価
MMLUのタスク
MMLUが対応するタスクは非常に多岐にわたります。
具体的には以下のような分野をカバーしています：
- STEM（科学、技術、工学、数学）
数学、物理学、化学、コンピュータサイエンスなど。
例えば、物理学では「重力の法則とは何か？」、数学では「2x + 3 = 7を解いてください」といった問題があります。 - 人文科学
歴史、哲学、倫理、法律など。
例えば、歴史では「ナポレオン戦争の主な原因は何か？」、哲学では「カントの倫理学の基本原理は何か？」といった問題が出題されます。 - 社会科学
経済学、心理学、政治学、社会学など。
例えば、経済学では「需要と供給の法則を説明してください」、心理学では「フロイトの精神分析理論の概要を述べてください」といった問題があります。
これらのタスクは、それぞれの難易度と対象レベル（初等教育から専門レベルまで）に応じて設計されています。
例えば、初等数学の問題から大学レベルの微積分の問題まで、多様な難易度の問題が含まれています。
性能評価
MMLUの性能を評価する方法には、ゼロショットと少ショットがあります。
- ゼロショット
事前にそのタスクに特化した学習をしていない状態でのモデルの応答能力を測ります。
これにより、モデルがどれだけ広範な知識を持っているかを評価します。 - 少ショット
少数の例を基にして応答する能力を評価します。
例えば、2〜3のサンプル問題を与えた後に、新しい問題に対してどれだけ正確に答えられるかを測ります。
例えば、以下のような具体例があります：
- ゼロショット
モデルに「イタリアの首都はどこですか？」という質問を何の事前情報も与えずに尋ね、その回答を評価します。 - 少ショット
モデルに「パリはフランスの首都です」「東京は日本の首都です」という例を与えた後に、「イタリアの首都はどこですか？」という質問をし、その回答を評価します。
これらの評価方法により、MMLUは言語モデルが新しいタスクに対してどれだけ柔軟に対応できるかを総合的に評価します。
MMLUの特長と実際の言語モデル間の比較結果
MMLUの特長
MMLUの特長として、以下の点が挙げられます：
- 幅広い分野に対応
MMLUは、STEM（科学、技術、工学、数学）、人文科学、社会科学など、様々な分野に対応しています。 - 高度な理解と応用能力
MMLUは、言語モデルが専門的な知識をゼロショットや少ショットで活用できるかどうかを評価します。
これにより、モデルの汎用性と柔軟性が測定されます。
実際の言語モデル間の比較結果
MMLUを使用して、様々な言語モデルの性能を比較した結果、いくつかの重要な知見が得られました。
- GPT-3の性能
GPT-3は、特に大規模なモデル（1750億パラメータ）で高い性能を示しました。
57のタスク全体で平均43.9%の精度を達成し、多くのタスクでランダムな精度を大きく上回りました。 - モデルサイズの影響
モデルのサイズが大きくなるほど、性能も向上する傾向が見られました。
例えば、13億パラメータのGPT-3は25.9%の精度であったのに対し、1750億パラメータのGPT-3は43.9%の精度を示しました。 - タスクごとの性能差
GPT-3は、あるタスクでは非常に高い精度を示す一方で、他のタスクでは性能が低いという「偏り」が見られました。
特に、倫理や法律などのタスクでは、性能が低い傾向がありました。 - モデルの信頼性
GPT-3は、自分の答えに対する信頼度（コンフィデンス）が実際の正確性と一致しないことがありました。
例えば、あるタスクでの正確性が70%であったにもかかわらず、モデルの平均信頼度は90%であるなどのギャップが見られました。
例えば、モデルが正しい答えを導き出す確率が低いにもかかわらず、高い信頼度を示すことがあるため、モデルのキャリブレーションが重要です。
他のモデルとの比較では、以下のような結果が得られました：
- UnifiedQA
このモデルは、他のQA（質問応答）データセットで微調整されたモデルであり、GPT-3に比べて一部のタスクで優れた性能を示しました。
例えば、マーケティングのタスクでは、82.5%の精度を達成しました。 - RoBERTa
中規模のモデル（125百万パラメータ）で、全体的に27.9%の精度を示しました。
特定の分野においては、高い性能を発揮しましたが、全体としてはGPT-3やUnifiedQAには及びませんでした。
これらの比較結果から、MMLUは言語モデルの性能を総合的に評価するための強力なツールであることがわかります。
モデルのサイズやトレーニングデータの量が性能に大きな影響を与えることが確認され、さらに特定のタスクに対する性能の偏りや信頼性の課題も明らかになりました。
まとめ
MMLU（Massive Multitask Language Understanding）は、幅広い分野のタスクに対する言語モデルの性能を評価するための重要なベンチマークです。
今後もMMLUの進化とともに、この技術がどのように活用されていくかが重要な課題となるでしょう。
（参照）
[2009.03300] Measuring Massive Multitask Language Understanding (arxiv.org)
コメント