メインコンテンツへスキップ

課題の成績

数学コンテスト問題から選んだ課題 (MATH500、英語の問題)

数学コンテスト問題を集めたデータセットから、難しさと分野が偏らないように選んだ英語の問題です。

この表の見方

  • 上にあるほど評価が高く、「1〜⁠2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
  • 評価は、共通の問題のうち解けた問題の割合 (%) です。
  • 差が 3 なら 100 問で 3 問ぶんの違いです。
  • 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
  • 長さは、一度に読ませられる文章の量 (トークン) です。
順位モデル開発元正答率
(%)
正答率の目盛 94〜⁠100
評価日入力 ¥
/100 万
出力 ¥
/100 万
一度に
読める長さ
対応重み公開日価格と仕様
1 位GPT-5.4OpenAI評価 99.2¥390¥2,400105 万OpenAI 公開 2026-⁠03 価格 ¥390 / ¥2,400 長さ 105 万
2〜4Gemma 4 31B⁠Google評価 99.0——約 26.2 万Google 公開 2026-⁠04 価格 — 長さ 約 26.2 万
2〜4GPT-5OpenAI評価 99.0¥200¥1,60040 万OpenAI 公開 2025-⁠08 価格 ¥200 / ¥1,600 長さ 40 万
2〜4GPT-OSS-Swallow-120B-RL-v0.1Swallow (東京科学大学)評価 99.0—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
5〜6Gemma 4 26B A4B⁠Google評価 98.6¥24¥94約 26.2 万Google 公開 2026-⁠04 価格 ¥24 / ¥94 長さ 約 26.2 万
5〜6Qwen3 235B A22B (thinking)⁠Alibaba評価 98.6——約 26.2 万Alibaba 公開 2025-⁠07 価格 — 長さ 約 26.2 万
7〜9GPT-OSS-Swallow-20B-RL-v0.1Swallow (東京科学大学)評価 98.4—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
7〜9NVIDIA Nemotron 3 Super 120B A12B⁠NVIDIA評価 98.4——約 26.2 万NVIDIA 公開 2026-⁠03 価格 — 長さ 約 26.2 万
7〜9Qwen3.5 35B A3B⁠Alibaba評価 98.4¥39¥310約 26.2 万Alibaba 公開 2026-⁠02 価格 ¥39 / ¥310 長さ 約 26.2 万
10〜11Qwen3 235B A22B (instruct)⁠Alibaba評価 98.2——12.8 万Alibaba 公開 2025-⁠07 価格 — 長さ 12.8 万
10〜11Qwen3-Swallow-32B-RL-v0.2Swallow (東京科学大学)評価 98.2—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
12〜13Qwen3 Next 80B A3B (instruct)⁠Alibaba評価 98.0¥78¥310約 12.9 万Alibaba 公開 2025-⁠09 価格 ¥78 / ¥310 長さ 約 12.9 万
12〜13Qwen3 Next 80B A3B⁠Alibaba評価 98.0¥78¥940約 13.1 万Alibaba 公開 2025-⁠09 価格 ¥78 / ¥940 長さ 約 13.1 万
14 位o3OpenAI評価 97.8¥310¥1,30020 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 20 万
15〜17Qwen3 32B⁠Alibaba評価 97.6¥110¥440約 13.1 万Alibaba 公開 2025-⁠04 価格 ¥110 / ¥440 長さ 約 13.1 万
15〜17Qwen3 8B⁠Alibaba評価 97.6¥28¥110約 13.1 万Alibaba 公開 2025-⁠04 価格 ¥28 / ¥110 長さ 約 13.1 万
15〜17Qwen3-Swallow-30B-A3B-RL-v0.2Swallow (東京科学大学)評価 97.6—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
18 位Qwen3.5 122B A10B⁠Alibaba評価 97.4¥63¥500約 26.2 万Alibaba 公開 2026-⁠02 価格 ¥63 / ¥500 長さ 約 26.2 万
19〜20GPT-5 miniOpenAI評価 97.0¥39¥31040 万OpenAI 公開 2025-⁠08 価格 ¥39 / ¥310 長さ 40 万
19〜20Qwen3 14B⁠Alibaba評価 97.0¥55¥220約 13.1 万Alibaba 公開 2025-⁠04 価格 ¥55 / ¥220 長さ 約 13.1 万
21〜22GPT-OSS 120B⁠OpenAI評価 96.8——12.8 万OpenAI 公開 2025-⁠08 価格 — 長さ 12.8 万
21〜22OLMo 3 32B Think⁠Ai2評価 96.8————Ai2 公開 — 価格 — 長さ —
23 位Qwen3 30B A3B⁠Alibaba評価 96.6——12.8 万Alibaba 公開 2025-⁠04 価格 — 長さ 12.8 万
24〜25GPT-OSS-Swallow-120B-SFT-v0.1Swallow (東京科学大学)評価 96.4—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
24〜25OLMo 3 7B ThinkAi2評価 96.4—————Ai2 公開 — 価格 — 長さ —
26 位Qwen3.5 4B⁠Alibaba評価 96.2——約 26.2 万Alibaba 公開 2026-⁠02 価格 — 長さ 約 26.2 万
27〜29Qwen3 4B⁠Alibaba評価 96.0———Alibaba 公開 2025-⁠04 価格 — 長さ —
27〜29Qwen3-Swallow-32B-CPT-v0.2Swallow (東京科学大学)評価 96.0—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
27〜29Qwen3-Swallow-32B-SFT-v0.2Swallow (東京科学大学)評価 96.0—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
30〜31GPT-OSS 20B⁠OpenAI評価 95.8——13.1 万OpenAI 公開 2025-⁠08 価格 — 長さ 13.1 万
30〜31o3-miniOpenAI評価 95.8¥170¥69020 万OpenAI 公開 2025-⁠01 価格 ¥170 / ¥690 長さ 20 万
32〜33ABEJA-QwQ32b-Reasoning-Japanese-v1.0ABEJA評価 95.6—————ABEJA 公開 — 価格 — 長さ —
32〜33Qwen3.5 27B⁠Alibaba評価 95.6¥47¥380約 26.2 万Alibaba 公開 2026-⁠02 価格 ¥47 / ¥380 長さ 約 26.2 万
34〜35DeepSeek-R1-Distill-Qwen-32B-JapaneseCyberAgent評価 95.4—————CyberAgent 公開 — 価格 — 長さ —
34〜35GPT-OSS-Swallow-20B-SFT-v0.1Swallow (東京科学大学)評価 95.4—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
36 位Llama 3.1 Nemotron Nano 8B (v1)NVIDIA評価 94.6—————NVIDIA 公開 — 価格 — 長さ —
37〜38Qwen3-Swallow-30B-A3B-SFT-v0.2Swallow (東京科学大学)評価 94.4—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
37〜38Qwen3-Swallow-8B-RL-v0.2Swallow (東京科学大学)評価 94.4—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
39 位QwQ Bakeneko 32Brinna評価 94.2—————rinna 公開 — 価格 — 長さ —
40 位Qwen3-Swallow-30B-A3B-CPT-v0.2Swallow (東京科学大学)評価 94.0—————Swallow (東京科学大学) 公開 — 価格 — 長さ —
このページの読み方
  • 値は正答率です。
  • 正答率は解けた問題の割合です。差 1 ポイントは 100 問で 1 問ぶんです。
  • 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
  • オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
  • モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
  • 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。

データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-⁠10-⁠24、データの出典