課題の成績
数学コンテスト問題のうち、いちばん難しい物 (MATH level 5)
AMC 10 / AMC 12 / AIME などの数学コンテストから集めた MATH データセットのうち、難度の段が最も上の問題だけを使う課題です。
この表の見方
- 上にあるほど評価が高く、「1〜2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
- 評価は、共通の問題のうち解けた問題の割合 (%) です。
- 差が 3 なら 100 問で 3 問ぶんの違いで、± は測り直した時に動く幅です。
- 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
- 長さは、一度に読ませられる文章の量 (トークン) です。
1 位の誤差の幅
| 順位 | モデル | 開発元 | 正答率 (%) | 評価日 | 入力 ¥ /100 万 | 出力 ¥ /100 万 | 一度に 読める長さ | 対応 | 重み | 公開日 | 価格と仕様 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1〜6 | GPT-5 | OpenAI | 評価 98.1 ±0.6 | ¥200 | ¥1,600 | 40 万 | OpenAI 公開 2025-08 価格 ¥200 / ¥1,600 長さ 40 万 | ||||
| 1〜6 | GPT-5 mini | OpenAI | 評価 97.8 ±0.7 | ¥39 | ¥310 | 40 万 | OpenAI 公開 2025-08 価格 ¥39 / ¥310 長さ 40 万 | ||||
| 1〜6 | o4-mini | OpenAI | 評価 97.8 ±0.7 | ¥170 | ¥690 | 20 万 | OpenAI 公開 2025-04 価格 ¥170 / ¥690 長さ 20 万 | ||||
| 1〜6 | o3 | OpenAI | 評価 97.8 ±0.7 | ¥310 | ¥1,300 | 20 万 | OpenAI 公開 2025-04 価格 ¥310 / ¥1,300 長さ 20 万 | ||||
| 1〜7 | Claude Sonnet 4.5 | Anthropic | 評価 97.7 ±0.8 | ¥470 | ¥2,400 | 20 万 | Anthropic 公開 2025-09 価格 ¥470 / ¥2,400 長さ 20 万 | ||||
| 1〜9 | Qwen3 Max (instruct) | Alibaba | 評価 97.1 ±0.8 | — | — | 約 25.8 万 | Alibaba 公開 2025-09 価格 — 長さ 約 25.8 万 | ||||
| 5〜11 | DeepSeek-R1 (2025-05) | DeepSeek | 評価 96.6 ±0.8 | — | — | 約 13.1 万 | DeepSeek 公開 2025-05 価格 — 長さ 約 13.1 万 | ||||
| 6〜11 | o3-mini | OpenAI | 評価 96.5 ±0.8 | ¥170 | ¥690 | 20 万 | OpenAI 公開 2025-01 価格 ¥170 / ¥690 長さ 20 万 | ||||
| 6〜12 | Claude Haiku 4.5 | Anthropic | 評価 96.4 ±1.0 | ¥160 | ¥780 | 20 万 | Anthropic 公開 2025-10 価格 ¥160 / ¥780 長さ 20 万 | ||||
| 7〜13 | Gemini 2.5 Pro (preview, 2025-05) | 評価 95.9 ±0.8 | — | — | 約 105 万 | Google 公開 2025-05 価格 — 長さ 約 105 万 | |||||
| 7〜13 | Gemini 2.5 Pro (preview, 2025-03) | 評価 95.6 ±0.9 | — | — | 約 105 万 | Google 公開 2025-03 価格 — 長さ 約 105 万 | |||||
| 9〜13 | GPT-5 nano | OpenAI | 評価 95.2 ±0.9 | ¥7.8 | ¥63 | 40 万 | OpenAI 公開 2025-08 価格 ¥7.8 / ¥63 長さ 40 万 | ||||
| 10〜14 | o1 | OpenAI | 評価 94.7 ±1.2 | ¥2,400 | ¥9,400 | 12.8 万 | OpenAI 公開 2024-12 価格 ¥2,400 / ¥9,400 長さ 12.8 万 | ||||
| 13〜15 | DeepSeek-R1 | DeepSeek | 評価 93.1 ±1.4 | — | — | 12.8 万 | DeepSeek 公開 2025-01 価格 — 長さ 12.8 万 | ||||
| 14〜18 | Claude 3.7 Sonnet | Anthropic | 評価 91.2 ±1.5 | — | — | 20 万 | Anthropic 公開 2025-02 価格 — 長さ 20 万 | ||||
| 15〜19 | Grok 3 Mini (beta) | xAI | 評価 90.9 ±1.5 | — | — | — | xAI 公開 2025-04 価格 — 長さ — | ||||
| 15〜19 | DeepSeek-R1-Distill-Llama-70B | DeepSeek | 評価 89.9 ±1.3 | — | — | 約 3.3 万 | DeepSeek 公開 2025-01 価格 — 長さ 約 3.3 万 | ||||
| 15〜20 | o1-mini | OpenAI | 評価 89.2 ±1.3 | — | — | 12.8 万 | OpenAI 公開 2024-09 価格 — 長さ 12.8 万 | ||||
| 16〜21 | Grok 3 (beta) | xAI | 評価 88.7 ±1.7 | — | — | — | xAI 公開 2025-04 価格 — 長さ — | ||||
| 18〜22 | GPT-4.1 mini | OpenAI | 評価 87.3 ±1.4 | — | — | 約 105 万 | OpenAI 公開 2025-04 価格 — 長さ 約 105 万 | ||||
| 19〜22 | DeepSeek-R1-Distill-Qwen-14B | DeepSeek | 評価 87.1 ±1.5 | — | — | 約 3.3 万 | DeepSeek 公開 2025-01 価格 — 長さ 約 3.3 万 | ||||
| 20〜25 | Claude Opus 4 | Anthropic | 評価 85.0 ±1.9 | — | — | 20 万 | Anthropic 公開 2025-05 価格 — 長さ 20 万 | ||||
| 22〜27 | Claude Sonnet 4 | Anthropic | 評価 84.4 ±2.0 | — | — | 20 万 | Anthropic 公開 2025-05 価格 — 長さ 20 万 | ||||
| 22〜28 | Gemini 2.0 Pro (exp) | 評価 83.5 ±2.0 | — | — | 約 210 万 | Google 公開 2025-02 価格 — 長さ 約 210 万 | |||||
| 22〜28 | GPT-4.1 | OpenAI | 評価 83.0 ±1.7 | ¥310 | ¥1,300 | 約 105 万 | OpenAI 公開 2025-04 価格 ¥310 / ¥1,300 長さ 約 105 万 | ||||
| 23〜28 | Gemini 2.0 Flash | 評価 82.2 ±1.7 | — | — | — | Google 公開 2025-02 価格 — 長さ — | |||||
| 23〜29 | o1-preview | OpenAI | 評価 81.6 ±2.1 | — | — | — | OpenAI 公開 2024-09 価格 — 長さ — | ||||
| 24〜28 | Mistral Medium 3 | Mistral | 評価 81.6 ±1.8 | ¥63 | ¥310 | 12.8 万 | Mistral 公開 2025-05 価格 ¥63 / ¥310 長さ 12.8 万 | ||||
| 28〜29 | GPT-4.5 (preview) | OpenAI | 評価 78.6 ±2.2 | — | — | — | OpenAI 公開 2025-02 価格 — 長さ — | ||||
| 30〜32 | DeepSeek-V3 (2025-03) | DeepSeek | 評価 75.5 ±1.7 | — | — | 約 16.4 万 | DeepSeek 公開 2025-03 価格 — 長さ 約 16.4 万 | ||||
| 30〜32 | Gemma 3 27B | 評価 74.0 ±2.2 | — | — | 12.8 万 | Google 公開 2025-03 価格 — 長さ 12.8 万 | |||||
| 30〜33 | Llama 4 Maverick (FP8) | Meta | 評価 73.0 ±2.1 | — | — | 約 105 万 | Meta 公開 2025-04 価格 — 長さ 約 105 万 | ||||
| 32〜35 | Gemini 1.5 Pro 002 | 評価 70.4 ±2.0 | — | — | — | Google 公開 2024-09 価格 — 長さ — | |||||
| 33〜36 | GPT-4.1 nano | OpenAI | 評価 70.0 ±2.0 | ¥16 | ¥63 | 約 105 万 | OpenAI 公開 2025-04 価格 ¥16 / ¥63 長さ 約 105 万 | ||||
| 33〜36 | Qwen3 235B A22B | Alibaba | 評価 68.9 ±1.9 | ¥110 | ¥440 | 12.8 万 | Alibaba 公開 2025-04 価格 ¥110 / ¥440 長さ 12.8 万 | ||||
| 34〜39 | Qwen Max | Alibaba | 評価 67.2 ±2.2 | — | — | 12.8 万 | Alibaba 公開 2025-01 価格 — 長さ 12.8 万 | ||||
| 36〜42 | Qwen Plus (2025-01) | Alibaba | 評価 65.3 ±2.2 | — | — | — | Alibaba 公開 2025-01 価格 — 長さ — | ||||
| 36〜42 | Phi-4 | Microsoft | 評価 64.9 ±2.1 | — | — | 12.8 万 | Microsoft 公開 2024-12 価格 — 長さ 12.8 万 | ||||
| 36〜43 | DeepSeek-V3 | DeepSeek | 評価 64.9 ±2.1 | — | — | 12.8 万 | DeepSeek 公開 2024-12 価格 — 長さ 12.8 万 | ||||
| 37〜43 | Grok 2 (2024-12) | xAI | 評価 63.5 ±2.6 | — | — | — | xAI 公開 2024-12 価格 — 長さ — | ||||
| 37〜43 | Qwen2.5 72B (instruct) | Alibaba | 評価 63.2 ±2.1 | — | — | 12.8 万 | Alibaba 公開 2024-09 価格 — 長さ 12.8 万 | ||||
| 37〜43 | Llama 4 Scout | Meta | 評価 62.3 ±2.4 | — | — | 12.8 万 | Meta 公開 2025-04 価格 — 長さ 12.8 万 | ||||
| 39〜43 | Gemini 1.5 Flash 002 | 評価 61.9 ±2.2 | — | — | — | Google 公開 2024-09 価格 — 長さ — | |||||
| 44〜46 | Claude 3.5 Sonnet (2024-10) | Anthropic | 評価 56.9 ±2.2 | — | — | 20 万 | Anthropic 公開 2024-10 価格 — 長さ 20 万 | ||||
| 44〜47 | Qwen Turbo | Alibaba | 評価 56.2 ±2.2 | — | — | — | Alibaba 公開 2024-11 価格 — 長さ — | ||||
| 44〜47 | Qwen2.5 32B (instruct) | Alibaba | 評価 56.1 ±2.1 | — | — | — | Alibaba 公開 2024-09 価格 — 長さ — | ||||
| 45〜51 | GPT-4o (2024-08) | OpenAI | 評価 53.3 ±2.2 | ¥390 | ¥1,600 | 12.8 万 | OpenAI 公開 2024-08 価格 ¥390 / ¥1,600 長さ 12.8 万 | ||||
| 47〜53 | GPT-4o mini | OpenAI | 評価 52.6 ±2.2 | — | — | 12.8 万 | OpenAI 公開 2024-07 価格 — 長さ 12.8 万 | ||||
| 47〜53 | Claude 3.5 Sonnet (2024-06) | Anthropic | 評価 51.7 ±2.3 | — | — | 20 万 | Anthropic 公開 2024-06 価格 — 長さ 20 万 | ||||
| 47〜53 | GPT-4o (2024-05) | OpenAI | 評価 51.0 ±2.2 | ¥780 | ¥2,400 | 12.8 万 | OpenAI 公開 2024-05 価格 ¥780 / ¥2,400 長さ 12.8 万 | ||||
| 47〜53 | Mistral Large (2024-11) | Mistral | 評価 50.3 ±2.2 | — | — | 12.8 万 | Mistral 公開 2024-11 価格 — 長さ 12.8 万 | ||||
| 48〜55 | GPT-4o (2024-11) | OpenAI | 評価 49.8 ±2.2 | ¥390 | ¥1,600 | 12.8 万 | OpenAI 公開 2024-11 価格 ¥390 / ¥1,600 長さ 12.8 万 | ||||
| 48〜55 | Llama 3.1 405B (instruct) | Meta | 評価 49.8 ±2.4 | — | — | — | Meta 公開 2024-07 価格 — 長さ — | ||||
| 52〜58 | Mistral Small 3.1 | Mistral | 評価 46.8 ±2.4 | — | — | 約 13.1 万 | Mistral 公開 2025-03 価格 — 長さ 約 13.1 万 | ||||
| 52〜58 | GPT-4 Turbo | OpenAI | 評価 46.7 ±2.2 | — | — | — | OpenAI 公開 2024-04 価格 — 長さ — | ||||
| 54〜58 | Claude 3.5 Haiku | Anthropic | 評価 46.4 ±2.3 | — | — | 20 万 | Anthropic 公開 2024-10 価格 — 長さ 20 万 | ||||
| 54〜59 | Mistral Large 2 | Mistral | 評価 44.8 ±2.1 | — | — | 約 13.1 万 | Mistral 公開 2024-07 価格 — 長さ 約 13.1 万 | ||||
| 54〜59 | Mistral Small 3 | Mistral | 評価 44.8 ±2.1 | — | — | 約 3.3 万 | Mistral 公開 2025-01 価格 — 長さ 約 3.3 万 | ||||
| 57〜62 | Llama 3.1 Tulu 3 70B DPO | Ai2 | 評価 42.7 ±2.0 | — | — | — | Ai2 公開 2024-11 価格 — 長さ — | ||||
| 59〜64 | Llama 3.3 70B (instruct) | Meta | 評価 41.6 ±2.3 | — | — | 約 13.1 万 | Meta 公開 2024-12 価格 — 長さ 約 13.1 万 | ||||
| 59〜64 | Gemini 1.5 Pro 001 | 評価 40.7 ±2.1 | — | — | — | Google 公開 2024-05 価格 — 長さ — | |||||
| 59〜65 | GPT-4 Turbo (preview, 2023-11) | OpenAI | 評価 40.0 ±2.1 | — | — | — | OpenAI 公開 2023-11 価格 — 長さ — | ||||
| 60〜66 | Llama 3.2 90B Vision (instruct) | Meta | 評価 39.4 ±2.0 | — | — | 1.6 万 | Meta 公開 2024-09 価格 — 長さ 1.6 万 | ||||
| 60〜66 | Qwen2 72B (instruct) | Alibaba | 評価 39.1 ±2.0 | — | — | — | Alibaba 公開 2024-06 価格 — 長さ — | ||||
| 62〜67 | Claude 3 Opus | Anthropic | 評価 37.5 ±2.1 | — | — | — | Anthropic 公開 2024-02 価格 — 長さ — | ||||
| 63〜67 | Llama 3.1 70B (instruct) | Meta | 評価 36.7 ±2.0 | — | — | 12.8 万 | Meta 公開 2024-07 価格 — 長さ 12.8 万 | ||||
| 65〜67 | GPT-4 Turbo (preview, 2024-01) | OpenAI | 評価 35.4 ±2.1 | — | — | — | OpenAI 公開 2024-01 価格 — 長さ — | ||||
| 68〜70 | Gemma 2 27B | 評価 27.9 ±1.9 | — | — | 約 0.8 万 | Google 公開 2024-06 価格 — 長さ 約 0.8 万 | |||||
| 68〜73 | WizardLM-2-8x22B | Microsoft | 評価 25.7 ±1.7 | — | — | 約 6.6 万 | Microsoft 公開 2024-04 価格 — 長さ 約 6.6 万 | ||||
| 68〜73 | Yi 1.5 34B (chat) | 01.AI | 評価 25.5 ±1.7 | — | — | — | 01.AI 公開 2024-05 価格 — 長さ — | ||||
| 69〜76 | Gemini 1.5 Flash | 評価 25.1 ±1.9 | — | — | — | Google 公開 2024-05 価格 — 長さ — | |||||
| 69〜77 | Mistral Large (2024-02) | Mistral | 評価 24.5 ±1.7 | — | — | 3.2 万 | Mistral 公開 2024-02 価格 — 長さ 3.2 万 | ||||
| 69〜77 | Open Mixtral 8x22B | Mistral | 評価 24.2 ±1.6 | — | — | — | Mistral 公開 2024-04 価格 — 長さ — | ||||
| 71〜78 | GPT-4 (2023-06) | OpenAI | 評価 23.0 ±1.7 | — | — | — | OpenAI 公開 2023-06 価格 — 長さ — | ||||
| 71〜78 | Llama 3.1 8B (instruct) | Meta | 評価 22.9 ±1.7 | — | — | 12.8 万 | Meta 公開 2024-07 価格 — 長さ 12.8 万 | ||||
| 71〜78 | Hermes-2-Theta-Llama-3-70B | Nous Research | 評価 22.7 ±1.6 | — | — | — | Nous Research 公開 2024-06 価格 — 長さ — | ||||
| 72〜78 | Llama 3 70B (instruct) | Meta | 評価 22.6 ±1.6 | — | — | 約 0.8 万 | Meta 公開 2024-04 価格 — 長さ 約 0.8 万 | ||||
| 74〜78 | Gemma 2 9B | 評価 21.0 ±1.8 | — | — | — | Google 公開 2024-06 価格 — 長さ — | |||||
| 79〜80 | Claude 3 Sonnet | Anthropic | 評価 18.2 ±1.6 | — | — | — | Anthropic 公開 2024-02 価格 — 長さ — | ||||
| 79〜81 | Phi-3 medium (128k, instruct) | Microsoft | 評価 17.6 ±1.4 | — | — | — | Microsoft 公開 2024-04 価格 — 長さ — | ||||
| 80〜84 | GPT-3.5 Turbo (2023-11) | OpenAI | 評価 15.9 ±1.4 | — | — | 約 1.6 万 | OpenAI 公開 2023-11 価格 — 長さ 約 1.6 万 | ||||
| 81〜84 | Ministral 8B | Mistral | 評価 14.9 ±1.5 | — | — | — | Mistral 公開 2024-10 価格 — 長さ — | ||||
| 81〜84 | Claude 3 Haiku | Anthropic | 評価 14.9 ±1.4 | — | — | 20 万 | Anthropic 公開 2024-03 価格 — 長さ 20 万 | ||||
| 81〜84 | Ministral 3B | Mistral | 評価 14.4 ±1.5 | — | — | — | Mistral 公開 2024-10 価格 — 長さ — | ||||
| 85〜89 | Claude 2.0 | Anthropic | 評価 11.7 ±1.3 | — | — | — | Anthropic 公開 2023-07 価格 — 長さ — | ||||
| 85〜90 | DBRX (instruct) | Databricks | 評価 11.7 ±1.4 | — | — | — | Databricks 公開 2024-03 価格 — 長さ — | ||||
| 85〜89 | GPT-3.5 Turbo (2024-01) | OpenAI | 評価 11.6 ±1.1 | — | — | 約 1.6 万 | OpenAI 公開 2024-01 価格 — 長さ 約 1.6 万 | ||||
| 85〜90 | Gemini 1.0 Pro 001 | 評価 11.2 ±1.2 | — | — | — | Google 公開 2023-12 価格 — 長さ — | |||||
| 85〜91 | Open Mistral Nemo | Mistral | 評価 10.8 ±1.2 | — | — | — | Mistral 公開 2024-07 価格 — 長さ — | ||||
| 87〜91 | Open Mixtral 8x7B | Mistral | 評価 10.0 ±1.0 | — | — | — | Mistral 公開 2023-12 価格 — 長さ — | ||||
| 89〜91 | Mixtral 8x7B (instruct, v0.1) | Mistral | 評価 9.3 ±1.0 | — | — | 3.2 万 | Mistral 公開 2023-12 価格 — 長さ 3.2 万 | ||||
| 92〜93 | DeepSeek LLM 67B (chat) | DeepSeek | 評価 6.4 ±0.8 | — | — | — | DeepSeek 公開 2023-11 価格 — 長さ — | ||||
| 92〜94 | Llama 3 8B (instruct) | Meta | 評価 6.1 ±0.7 | — | — | — | Meta 公開 2024-04 価格 — 長さ — | ||||
| 93〜94 | Yi 34B (chat) | 01.AI | 評価 5.1 ±0.7 | — | — | — | 01.AI 公開 2023-11 価格 — 長さ — | ||||
| 95〜97 | Open Mistral 7B | Mistral | 評価 3.7 ±0.5 | — | — | — | Mistral 公開 2023-09 価格 — 長さ — | ||||
| 95〜97 | Mistral 7B (instruct, v0.3) | Mistral | 評価 3.6 ±0.5 | — | — | 約 6.6 万 | Mistral 公開 2024-05 価格 — 長さ 約 6.6 万 | ||||
| 95〜97 | Llama 2 70B (chat) | Meta | 評価 3.3 ±0.5 | — | — | — | Meta 公開 2023-07 価格 — 長さ — |
最高の正答率の推移
2023-06-13公開日2025-10-15
このページの読み方
- 決まった形式で答えを書かせ、値は正答率です。
- 正答率は解けた問題の割合です。差 1 ポイントは 100 問で 1 問ぶんです。
- 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
- オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
- モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
- 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典