任务成绩
研究水平的数学题 (旧版、FrontierMath Tier 4 2025-07)
这是 FrontierMath Tier 4 的旧版，收集了比基础档 (Tiers 1-3) 更难的研究水平题目。
后继的基准测试: FrontierMath Tier 4 v2
如何看这张表
- 越靠上评价越高，像“第 1〜2 名”这样以范围显示的模型之间的差在误差范围内。
- 评价是共同题目中答对题目的比例 (%)。
- ± 是重新测量时会变动的幅度，细微的差异不必在意。
- 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
- 长度是一次能让它读的文本量 (token)。
第 1 名的误差幅度
| 排名 | 模型 | 开发方 | 正确率 (%) | 评测日期 | 输入 $ /100 万 | 输出 $ /100 万 | 一次能读的 长度 | 支持 | 权重 | 发布日期 | 价格与规格 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1〜6 | AI co-mathematician | 评价 79.8 ±23.5 | — | — | — | Google 发布 2026-05 价格 — 长度 — | |||||
| 1〜9 | GPT-5.5 Pro | OpenAI | 评价 66.0 ±23.2 | $30 | $180 | 1.05M | OpenAI 发布 2026-04 价格 $30 / $180 长度 1.05M | ||||
| 1〜9 | GPT-5.4 Pro (web) | OpenAI | 评价 62.5 ±22.9 | — | — | — | OpenAI 发布 2026-03 价格 — 长度 — | ||||
| 1〜11 | GPT-5.5 | OpenAI | 评价 59.0 ±22.5 | $5 | $30 | 1.05M | OpenAI 发布 2026-04 价格 $5 / $30 长度 1.05M | ||||
| 1〜12 | GPT-5.2 Pro (web) | OpenAI | 评价 52.2 ±21.9 | — | — | — | OpenAI 发布 2025-12 价格 — 长度 — | ||||
| 1〜12 | Claude Opus 4.8 | Anthropic | 评价 52.1 ±22.1 | $5 | $25 | 1M | Anthropic 发布 2026-05 价格 $5 / $25 长度 1M | ||||
| 2〜19 | GPT-5.4 | OpenAI | 评价 45.2 ±20.9 | $2.5 | $15 | 1.05M | OpenAI 发布 2026-03 价格 $2.5 / $15 长度 1.05M | ||||
| 2〜20 | Claude Opus 4.7 | Anthropic | 评价 38.2 ±20.0 | $5 | $25 | 1M | Anthropic 发布 2026-04 价格 $5 / $25 长度 1M | ||||
| 2〜20 | Claude Opus 4.6 | Anthropic | 评价 38.2 ±19.9 | $5 | $25 | 1M | Anthropic 发布 2026-02 价格 $5 / $25 长度 1M | ||||
| 4〜25 | GPT-5.2 | OpenAI | 评价 31.3 ±18.3 | $1.75 | $14 | 400K | OpenAI 发布 2025-12 价格 $1.75 / $14 长度 400K | ||||
| 4〜25 | Gemini 3 Pro (preview) | 评价 31.3 ±18.6 | — | — | 1M | Google 发布 2025-11 价格 — 长度 1M | |||||
| 5〜25 | Gemini 3.1 Pro (preview) | 评价 27.8 ±17.6 | $2 | $12 | 1.05M | Google 发布 2026-02 价格 $2 / $12 长度 1.05M | |||||
| 7〜35 | GPT-5 Pro | OpenAI | 评价 24.3 ±16.7 | $15 | $120 | 400K | OpenAI 发布 2025-10 价格 $15 / $120 长度 400K | ||||
| 7〜35 | Muse Spark | Meta | 评价 24.3 ±16.7 | — | — | — | Meta 发布 2026-04 价格 — 长度 — | ||||
| 7〜35 | Gemini 3.5 Flash | 评价 24.3 ±16.8 | $1.5 | $9 | 1.05M | Google 发布 2026-05 价格 $1.5 / $9 长度 1.05M | |||||
| 7〜35 | Kimi K2.6 | Moonshot | 评价 24.3 ±16.8 | $0.95 | $4 | 262.1K | Moonshot 发布 2026-04 价格 $0.95 / $4 长度 262.1K | ||||
| 7〜35 | GLM-5.1 | Z.ai | 评价 20.8 ±15.8 | $1.4 | $4.4 | 200K | Z.ai 发布 2026-04 价格 $1.4 / $4.4 长度 200K | ||||
| 7〜35 | GPT-5.1 | OpenAI | 评价 20.8 ±15.8 | $1.25 | $10 | 400K | OpenAI 发布 2025-11 价格 $1.25 / $10 长度 400K | ||||
| 7〜35 | GPT-5 | OpenAI | 评价 20.8 ±15.8 | $1.25 | $10 | 400K | OpenAI 发布 2025-08 价格 $1.25 / $10 长度 400K | ||||
| 8〜46 | Gemini 2.5 Deep Think (web) | 评价 17.3 ±14.4 | — | — | — | — | Google 发布 2025-08 价格 — 长度 — | ||||
| 10〜46 | Qwen3.6 Plus | Alibaba | 评价 13.9 ±13.2 | $0.5 | $3 | 1M | Alibaba 发布 2026-03 价格 $0.5 / $3 长度 1M | ||||
| 10〜46 | Claude Sonnet 4.6 | Anthropic | 评价 13.8 ±13.1 | $3 | $15 | 1M | Anthropic 发布 2026-02 价格 $3 / $15 长度 1M | ||||
| 10〜56 | GPT-5.4 nano | OpenAI | 评价 10.4 ±11.5 | $0.2 | $1.25 | 400K | OpenAI 发布 2026-03 价格 $0.2 / $1.25 长度 400K | ||||
| 10〜56 | GPT-5 mini | OpenAI | 评价 10.4 ±11.5 | $0.25 | $2 | 400K | OpenAI 发布 2025-08 价格 $0.25 / $2 长度 400K | ||||
| 10〜56 | o4-mini | OpenAI | 评价 10.4 ±11.5 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-04 价格 $1.1 / $4.4 长度 200K | ||||
| 13〜56 | Kimi K2.5 | Moonshot | 评价 7.0 ±9.5 | — | — | 262.1K | Moonshot 发布 2026-01 价格 — 长度 262.1K | ||||
| 13〜56 | Claude Opus 4.1 | Anthropic | 评价 6.9 ±9.5 | — | — | 200K | Anthropic 发布 2025-08 价格 — 长度 200K | ||||
| 13〜56 | Claude Opus 4 | Anthropic | 评价 6.9 ±9.5 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | ||||
| 13〜56 | Claude Opus 4.5 | Anthropic | 评价 6.9 ±9.5 | $5 | $25 | 200K | Anthropic 发布 2025-11 价格 $5 / $25 长度 200K | ||||
| 13〜56 | Claude Sonnet 4.5 | Anthropic | 评价 6.9 ±9.5 | $3 | $15 | 200K | Anthropic 发布 2025-09 价格 $3 / $15 长度 200K | ||||
| 13〜56 | Gemini 2.5 Flash | 评价 6.9 ±9.5 | $0.3 | $2.5 | 1M | Google 发布 2025-06 价格 $0.3 / $2.5 长度 1M | |||||
| 13〜56 | Gemini 2.5 Pro | 评价 6.9 ±9.5 | $1.25 | $10 | 1M | Google 发布 2025-06 价格 $1.25 / $10 长度 1M | |||||
| 13〜56 | Gemini 3 Flash (preview) | 评价 6.9 ±9.5 | $0.5 | $3 | 1M | Google 发布 2025-12 价格 $0.5 / $3 长度 1M | |||||
| 13〜56 | o3-mini | OpenAI | 评价 6.9 ±9.5 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-01 价格 $1.1 / $4.4 长度 200K | ||||
| 13〜56 | Qwen3.6 Max (preview) | Alibaba | 评价 6.9 ±9.5 | $1.3 | $7.8 | 240K | Alibaba 发布 2026-04 价格 $1.3 / $7.8 长度 240K | ||||
| 20〜56 | GLM-4.6 | Z.ai | 评价 3.5 ±7.0 | $0.6 | $2.2 | 204.8K | Z.ai 发布 2025-09 价格 $0.6 / $2.2 长度 204.8K | ||||
| 20〜56 | DeepSeek-V3.2 | DeepSeek | 评价 3.5 ±6.9 | — | — | 128K | DeepSeek 发布 2025-12 价格 — 长度 128K | ||||
| 20〜56 | GLM-5 | Z.ai | 评价 3.5 ±6.9 | $1 | $3.2 | 204.8K | Z.ai 发布 2026-02 价格 $1 / $3.2 长度 204.8K | ||||
| 20〜56 | Claude Haiku 4.5 | Anthropic | 评价 3.5 ±6.8 | $1 | $5 | 200K | Anthropic 发布 2025-10 价格 $1 / $5 长度 200K | ||||
| 20〜56 | Gemini 2.5 Pro (preview, 2025-05) | 评价 3.5 ±6.8 | — | — | 1.05M | Google 发布 2025-05 价格 — 长度 1.05M | |||||
| 20〜56 | GPT-5 nano | OpenAI | 评价 3.5 ±6.8 | $0.05 | $0.4 | 400K | OpenAI 发布 2025-08 价格 $0.05 / $0.4 长度 400K | ||||
| 20〜56 | Grok 4 | xAI | 评价 3.5 ±6.8 | — | — | 256K | xAI 发布 2025-07 价格 — 长度 256K | ||||
| 20〜56 | o3 | OpenAI | 评价 3.5 ±6.8 | $2 | $8 | 200K | OpenAI 发布 2025-04 价格 $2 / $8 长度 200K | ||||
| 20〜56 | Qwen3.5 Plus | Alibaba | 评价 3.5 ±6.8 | $0.4 | $2.4 | 1M | Alibaba 发布 2026-02 价格 $0.4 / $2.4 长度 1M | ||||
| 20〜56 | GPT-5.4 mini | OpenAI | 评价 3.5 ±6.8 | $0.75 | $4.5 | 400K | OpenAI 发布 2026-03 价格 $0.75 / $4.5 长度 400K | ||||
| 20〜56 | Grok 4 Heavy (web) | xAI | 评价 3.5 ±6.9 | — | — | — | xAI 发布 2025-07 价格 — 长度 — | ||||
| 23〜56 | Claude 3.5 Sonnet (2024-06) | Anthropic | 评价 0.0 ±0.0 | — | — | 200K | Anthropic 发布 2024-06 价格 — 长度 200K | ||||
| 23〜56 | Claude 3.5 Sonnet (2024-10) | Anthropic | 评价 0.0 ±0.0 | — | — | 200K | Anthropic 发布 2024-10 价格 — 长度 200K | ||||
| 23〜56 | Claude Sonnet 4 | Anthropic | 评价 0.0 ±0.0 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | ||||
| 23〜56 | GPT-4.1 | OpenAI | 评价 0.0 ±0.0 | $2 | $8 | 1.05M | OpenAI 发布 2025-04 价格 $2 / $8 长度 1.05M | ||||
| 23〜56 | Grok 3 (beta) | xAI | 评价 0.0 ±0.0 | — | — | — | xAI 发布 2025-04 价格 — 长度 — | ||||
| 23〜56 | Kimi K2 (thinking) | Moonshot | 评价 0.0 ±0.0 | — | — | 262.1K | Moonshot 发布 2025-11 价格 — 长度 262.1K | ||||
| 23〜56 | Qwen3 235B A22B (thinking) | Alibaba | 评价 0.0 ±0.0 | — | — | 262.1K | Alibaba 发布 2025-07 价格 — 长度 262.1K | ||||
| 23〜56 | Qwen3.5 Flash | Alibaba | 评价 0.0 ±0.0 | $0.1 | $0.4 | 1M | Alibaba 发布 2026-02 价格 $0.1 / $0.4 长度 1M | ||||
| 23〜56 | Qwen3.6 Flash | Alibaba | 评价 0.0 ±0.0 | $0.25 | $1.5 | 1M | Alibaba 发布 2026-04 价格 $0.25 / $1.5 长度 1M | ||||
| 23〜56 | GLM-4.7 | Z.ai | 评价 0.0 ±0.0 | $0.6 | $2.2 | 204.8K | Z.ai 发布 2025-12 价格 $0.6 / $2.2 长度 204.8K |
最高正确率的变化
2024-06-20发布日期2026-05-28
如何阅读本页
- 后继版本是修正了有误题目的 Tier 4 v2。数值为正确率。
- 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
- 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
- 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。
数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-10-24，数据来源