分野別の LLM ベンチマーク一覧
分野ごとに、何を測るか / 種類 / 載っているモデルの数を並べています。
コーディング
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| コーディング | コーディングの質問での評価 | 人の評価 | 387 |
| LCB (英語の問題) | 競技プログラミングの新しい問題 | 課題の成績 | 68 |
| MirrorCode | プログラム全体を作り直す長い課題 | 課題の成績 | 10 |
| SWE-Bench verified | 実在の Python の不具合を直す力 | 課題の成績 | 32 |
| Aider polyglot | 6 つのプログラミング言語でのコード編集 | 他機関の公表値 | 55 |
| Terminal Bench | ターミナルでの作業 | 他機関の公表値 | 44 |
数学
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| 数学 | 答えの定まった数学の問題での評価 | 人の評価 | 379 |
| AIME (英語の問題) | 米国の数学の試験の問題 | 課題の成績 | 68 |
| FrontierMath 2025-02 | 未公開の数学問題 (旧版) | 課題の成績 | 71 |
| FrontierMath Tier 4 2025-07 | 研究水準の数学問題 (旧版) | 課題の成績 | 56 |
| FrontierMath Tier 4 v2 | 研究水準の数学問題 | 課題の成績 | 71 |
| FrontierMath Tiers 1-3 v2 | 学部上級から研究の入口までの数学問題 | 課題の成績 | 88 |
| MATH level 5 | 数学コンテスト問題のうち、いちばん難しい物 | 課題の成績 | 97 |
| MATH500 (英語の問題) | 数学コンテスト問題から選んだ課題 | 課題の成績 | 68 |
| OTIS Mock AIME 2024-2025 | AIME を模した数学コンテスト問題 | 課題の成績 | 201 |
| ProofBench | 数学の証明問題 | 他機関の公表値 | 81 |
知識と推論
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| 英語の難しい質問 | 英語の難しい質問での評価 | 人の評価 | 390 |
| 専門的な質問 | 専門家級の質問での評価 | 人の評価 | 343 |
| 難しい質問 | 難しい質問での評価 | 人の評価 | 392 |
| GPQA (英語の問題) | 生物 / 化学 / 物理の専門家級の選択問題 (日本語版と同じ条件で測った英語版) | 課題の成績 | 68 |
| GPQA diamond | 生物 / 化学 / 物理の専門家級の選択問題 (専門家だけが解けた問題を選んだ部分) | 課題の成績 | 221 |
| HellaSwag (英語の問題) | 日常の場面の続きを選ぶ問題 | 課題の成績 | 68 |
| MMLU-Pro (英語の問題) | 幅広い分野の難しい選択問題 | 課題の成績 | 68 |
| SimpleQA Verified | 短い事実の質問に正しく答える力 | 課題の成績 | 83 |
| ARC-AGI-2 | 抽象的な図形のパズル | 他機関の公表値 | 91 |
| HLE | 最難関の学術問題 | 他機関の公表値 | 45 |
文章
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| 指示に従う力 | 細かい指示に従えるかの評価 | 人の評価 | 392 |
| 創作 | 創作の依頼での評価 | 人の評価 | 390 |
| 長い質問 | 長い質問での評価 | 人の評価 | 370 |
| 複数回のやり取り | やり取りが複数回続いた会話での評価 | 人の評価 | 390 |
| Lech Mazur Writing | 短編小説の採点 | 他機関の公表値 | 43 |
エージェントと文書
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| APEX-Agents | 専門職の業務の課題 | 他機関の公表値 | 51 |
| DeepResearch Bench | Web で調べて答える課題 | 他機関の公表値 | 25 |
| Fiction.LiveBench | 長い物語の読解 | 他機関の公表値 | 39 |
| GDP.pdf | PDF の読解 | 他機関の公表値 | 39 |
| OSWorld 2.0 | PC の画面の操作 | 他機関の公表値 | 9 |
| The Agent Company | 会社の業務を模した課題 | 他機関の公表値 | 14 |
日本語と他の言語
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| 英語 | 英語の質問での評価 | 人の評価 | 392 |
| 英語以外 | 英語以外の質問での評価 | 人の評価 | 392 |
| 韓国語 | 韓国語の質問での評価 | 人の評価 | 261 |
| スペイン語 | スペイン語の質問での評価 | 人の評価 | 279 |
| 中国語 | 中国語の質問での評価 | 人の評価 | 369 |
| ドイツ語 | ドイツ語の質問での評価 | 人の評価 | 291 |
| 日本語 | 日本語の質問での評価 | 人の評価 | 262 |
| フランス語 | フランス語の質問での評価 | 人の評価 | 279 |
| ポーランド語 | ポーランド語の質問での評価 | 人の評価 | 213 |
| ロシア語 | ロシア語の質問での評価 | 人の評価 | 356 |
| GPQA (日本語版) | 生物 / 化学 / 物理の専門家級の選択問題 (日本語版) | 課題の成績 | 68 |
| JamC-QA | 日本の文化や生活の知識の選択問題 | 課題の成績 | 68 |
| JHumanEval | 日本語の説明から書く Python のコード | 課題の成績 | 68 |
| MIFEvalJa | 日本語の指示に従う課題 | 課題の成績 | 68 |
| MIFEvalJa (英語の課題と一緒に測った値) | 日本語の指示に従う課題 | 課題の成績 | 68 |
| MMLU-ProX (日本語版) | 幅広い分野の難しい選択問題 (日本語版) | 課題の成績 | 68 |
| PolyMathJaHT | 難しい数学の問題 (日本語) | 課題の成績 | 68 |
| WMT20enja | 英語から日本語への翻訳 | 課題の成績 | 68 |
| WMT20jaen | 日本語から英語への翻訳 | 課題の成績 | 68 |
業種
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| 医療の仕事 | 医療の仕事の質問での評価 | 人の評価 | 363 |
| エンタメとメディアの仕事 | エンタメとメディアの仕事の質問での評価 | 人の評価 | 390 |
| 科学の仕事 | 科学の仕事の質問での評価 | 人の評価 | 390 |
| 経営と金融の仕事 | 経営と金融の仕事の質問での評価 | 人の評価 | 385 |
| 執筆と編集の仕事 | 執筆と編集の仕事の質問での評価 | 人の評価 | 391 |
| 数理の仕事 | 数理の仕事の質問での評価 | 人の評価 | 376 |
| ソフトウェアと IT の仕事 | ソフトウェアと IT の仕事の質問での評価 | 人の評価 | 392 |
| 法律と行政の仕事 | 法律と行政の仕事の質問での評価 | 人の評価 | 365 |
その他
| ベンチマーク | 何を測るか | 種類 | モデル数 |
|---|---|---|---|
| 総合 | 全部の投票から出した総合の評価 | 人の評価 | 392 |
| 総合 (引き分けを除く) | 引き分けの投票を除いた評価 | 人の評価 | 392 |
| Chess Puzzles | チェスの局面で最善手を選ぶ問題 | 課題の成績 | 85 |
| EBR-bench | 繰り返し遊んで上達する力 | 課題の成績 | 27 |
| Furniture Assembly | 家具の組み立ての誤りを見つける課題 | 課題の成績 | 34 |
| Mystery Game Puzzles | 名前を伏せたゲームで最善手を選ぶ問題 | 課題の成績 | 79 |
| SpireClimb | カードゲームをいちばん難しい設定で勝ち抜く課題 | 課題の成績 | 7 |
このページの読み方
- 種類の「課題の成績」は、評価をまとめる機関が同じ条件で自ら測った成績です。「他機関の公表値」は、課題を作った機関などが公表した値を集めた物です。各分野の中は種類ごとに、名前の順 (日本語の名が先) で並べています。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典