其他机构的公布值
最难的学术问题 (HLE)
由数学 / 自然科学 / 人文等众多领域的专家编写，只挑选出题时的模型无法解答的题目汇集而成的问题。
这份数据的更新停在 2026-10-24 (上一次的值)
如何看这张表
- 越靠上评价越高，像“第 1〜2 名”这样以范围显示的模型之间的差在误差范围内。
- 评价是任务制作机构等公布的值。
- 测量条件可能因模型而异，细微的差异不必在意。
- 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
- 长度是一次能让它读的文本量 (token)。
第 1 名的误差幅度
| 排名 | 模型 | 开发方 | 正确率 (%) | 输入 $ /100 万 | 输出 $ /100 万 | 一次能读的 长度 | 支持 | 权重 | 发布日期 | 价格与规格 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-6 Astra | OpenAI | 评价 52.5 ±4.0 | $10 | $50 | 1.05M | OpenAI 发布 2026-09 价格 $10 / $50 长度 1.05M | |||
| 2〜6 | Claude Fable 5.1 | Anthropic | 评价 43.8 ±4.1 | $10 | $50 | 1M | Anthropic 发布 2026-09 价格 $10 / $50 长度 1M | |||
| 2〜6 | Gemini 3.1 Pro (preview) | 评价 43.7 ±4.0 | $2 | $12 | 1.05M | Google 发布 2026-02 价格 $2 / $12 长度 1.05M | ||||
| 2〜6 | Claude Sonnet 5.5 | Anthropic | 评价 43.4 ±4.0 | $2 | $10 | 1M | Anthropic 发布 2026-09 价格 $2 / $10 长度 1M | |||
| 2〜7 | Gemini 3.8 Flash | 评价 41.7 ±4.0 | $0.75 | $3.75 | 1.05M | Google 发布 2026-09 价格 $0.75 / $3.75 长度 1.05M | ||||
| 2〜7 | GPT-5.4 Pro | OpenAI | 评价 41.5 ±4.0 | $30 | $180 | 1.05M | OpenAI 发布 2026-03 价格 $30 / $180 长度 1.05M | |||
| 5〜10 | Muse Spark | Meta | 评价 37.6 ±4.0 | — | — | — | Meta 发布 2026-04 价格 — 长度 — | |||
| 7〜11 | Gemini 3 Pro (preview) | 评价 34.4 ±3.9 | — | — | 1M | Google 发布 2025-11 价格 — 长度 1M | ||||
| 7〜12 | GPT-5.4 | OpenAI | 评价 33.0 ±3.9 | $2.5 | $15 | 1.05M | OpenAI 发布 2026-03 价格 $2.5 / $15 长度 1.05M | |||
| 7〜12 | Claude Opus 4.7 | Anthropic | 评价 33.0 ±3.9 | $5 | $25 | 1M | Anthropic 发布 2026-04 价格 $5 / $25 长度 1M | |||
| 8〜13 | Claude Opus 4.6 | Anthropic | 评价 31.1 ±3.8 | $5 | $25 | 1M | Anthropic 发布 2026-02 价格 $5 / $25 长度 1M | |||
| 9〜14 | GPT-5 Pro | OpenAI | 评价 28.2 ±3.7 | $15 | $120 | 400K | OpenAI 发布 2025-10 价格 $15 / $120 长度 400K | |||
| 11〜15 | Claude Haiku 5.5 | Anthropic | 评价 26.6 ±3.8 | $0.1 | $0.5 | 1M | Anthropic 发布 2026-10 价格 $0.1 / $0.5 长度 1M | |||
| 12〜18 | GPT-5.2 | OpenAI | 评价 24.2 ±3.6 | $1.75 | $14 | 400K | OpenAI 发布 2025-12 价格 $1.75 / $14 长度 400K | |||
| 13〜19 | GPT-5 | OpenAI | 评价 21.6 ±3.5 | $1.25 | $10 | 400K | OpenAI 发布 2025-08 价格 $1.25 / $10 长度 400K | |||
| 14〜19 | Claude Opus 4.5 | Anthropic | 评价 21.4 ±3.5 | $5 | $25 | 200K | Anthropic 发布 2025-11 价格 $5 / $25 长度 200K | |||
| 14〜20 | Kimi K2.5 | Moonshot | 评价 20.6 ±3.7 | — | — | 262.1K | Moonshot 发布 2026-01 价格 — 长度 262.1K | |||
| 14〜21 | GPT-5.1 | OpenAI | 评价 19.8 ±3.4 | $1.25 | $10 | 400K | OpenAI 发布 2025-11 价格 $1.25 / $10 长度 400K | |||
| 15〜23 | Gemini 2.5 Pro (preview, 2025-05) | 评价 17.7 ±3.3 | — | — | 1.05M | Google 发布 2025-05 价格 — 长度 1.05M | ||||
| 17〜23 | o3 | OpenAI | 评价 16.3 ±3.3 | $2 | $8 | 200K | OpenAI 发布 2025-04 价格 $2 / $8 长度 200K | |||
| 18〜23 | GPT-5 mini | OpenAI | 评价 15.4 ±3.2 | $0.25 | $2 | 400K | OpenAI 发布 2025-08 价格 $0.25 / $2 长度 400K | |||
| 19〜23 | Gemini 2.5 Pro (exp) | 评价 14.0 ±3.1 | — | — | 1.05M | Google 发布 2025-03 价格 — 长度 1.05M | ||||
| 19〜23 | o4-mini | OpenAI | 评价 13.9 ±3.1 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-04 价格 $1.1 / $4.4 长度 200K | |||
| 24〜28 | Claude Sonnet 4.5 | Anthropic | 评价 9.4 ±2.8 | $3 | $15 | 200K | Anthropic 发布 2025-09 价格 $3 / $15 长度 200K | |||
| 24〜28 | Gemini 2.5 Flash (preview, 2025-04) | 评价 7.6 ±2.6 | — | — | 1.05M | Google 发布 2025-04 价格 — 长度 1.05M | ||||
| 24〜30 | Claude Opus 4.1 | Anthropic | 评价 7.1 ±2.6 | — | — | 200K | Anthropic 发布 2025-08 价格 — 长度 200K | |||
| 24〜34 | Gemini 2.5 Flash (preview, 2025-05) | 评价 6.5 ±2.5 | — | — | 1.05M | Google 发布 2025-05 价格 — 长度 1.05M | ||||
| 24〜35 | Claude Opus 4 | Anthropic | 评价 6.2 ±2.5 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | |||
| 26〜36 | Gemini 3.1 Flash-Lite | 评价 4.0 ±2.3 | $0.25 | $1.5 | 1.05M | Google 发布 2026-03 价格 $0.25 / $1.5 长度 1.05M | ||||
| 26〜37 | GLM-4.5 | Z.ai | 评价 3.7 ±2.2 | $0.6 | $2.2 | 131.1K | Z.ai 发布 2025-08 价格 $0.6 / $2.2 长度 131.1K | |||
| 27〜39 | GLM-4.5 Air | Z.ai | 评价 3.5 ±2.2 | $0.2 | $1.1 | 131.1K | Z.ai 发布 2025-07 价格 $0.2 / $1.1 长度 131.1K | |||
| 27〜39 | o1-pro | OpenAI | 评价 3.5 ±2.2 | $150 | $600 | 200K | OpenAI 发布 2025-03 价格 $150 / $600 长度 200K | |||
| 27〜39 | Claude 3.7 Sonnet | Anthropic | 评价 3.4 ±2.2 | — | — | 200K | Anthropic 发布 2025-02 价格 — 长度 200K | |||
| 27〜39 | o1 | OpenAI | 评价 3.3 ±2.2 | $15 | $60 | 128K | OpenAI 发布 2024-12 价格 $15 / $60 长度 128K | |||
| 28〜39 | Claude Sonnet 4 | Anthropic | 评价 3.1 ±2.2 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | |||
| 29〜42 | Gemini 2.0 Flash (thinking, exp) | 评价 1.8 ±2.0 | — | — | — | Google 发布 2024-12 价格 — 长度 — | ||||
| 30〜44 | Llama 4 Maverick | Meta | 评价 0.9 ±1.9 | — | — | 524.3K | Meta 发布 2025-04 价格 — 长度 524.3K | |||
| 31〜44 | GPT-4.5 (preview) | OpenAI | 评价 0.7 ±1.8 | — | — | — | OpenAI 发布 2025-02 价格 — 长度 — | |||
| 31〜44 | GPT-4.1 | OpenAI | 评价 0.6 ±1.8 | $2 | $8 | 1.05M | OpenAI 发布 2025-04 价格 $2 / $8 长度 1.05M | |||
| 36〜45 | Gemini 1.5 Pro 002 | 评价 0.0 ±1.7 | — | — | — | Google 发布 2024-09 价格 — 长度 — | ||||
| 36〜45 | Mistral Medium 3 | Mistral | 评价 0.0 ±1.7 | $0.4 | $2 | 128K | Mistral 发布 2025-05 价格 $0.4 / $2 长度 128K | |||
| 36〜45 | Amazon Nova Pro 1.0 | Amazon | 评价 0.0 ±1.6 | — | — | 300K | Amazon 发布 2024-12 价格 — 长度 300K | |||
| 37〜45 | Claude 3.5 Sonnet (2024-10) | Anthropic | 评价 0.0 ±1.6 | — | — | 200K | Anthropic 发布 2024-10 价格 — 长度 200K | |||
| 37〜45 | Amazon Nova Lite 1.0 | Amazon | 评价 0.0 ±1.5 | — | — | 300K | Amazon 发布 2024-12 价格 — 长度 300K | |||
| 40〜45 | GPT-4o (2024-11) | OpenAI | 评价 0.0 ±1.3 | $2.5 | $10 | 128K | OpenAI 发布 2024-11 价格 $2.5 / $10 长度 128K |
最高正确率的变化
2024-09-24发布日期2026-10-07
如何阅读本页
- 有选择题和写出简短答案两种形式，数值为正确率。这是收集了任务制作机构等公布的值。
- 正确率是答对题目的比例，已去掉靠随机猜测能得到的部分。
- 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
- 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
- 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。
数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-10-24，数据来源