跳到主要内容
Bench

语言

English日本語中文Español

网站信息

任务成绩

正确回答简短事实性问题的能力 (SimpleQA Verified)

在没有选项的情况下，回答关于政治 / 科学技术 / 艺术 / 体育 / 地理 / 音乐等简短事实的问题的任务。

如何看这张表

  • 越靠上评价越高，像“第 1〜⁠2 名”这样以范围显示的模型之间的差在误差范围内。
  • 评价是共同题目中答对题目的比例 (%)。
  • 差 3 就是 100 题中差 3 题，± 是重新测量时会变动的幅度。
  • 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
  • 长度是一次能让它读的文本量 (token)。

第 1 名的误差幅度

排名模型开发方正确率
(%)正确率的刻度 40〜⁠80		评测日期输入 $
/100 万		输出 $
/100 万		一次能读的
长度		支持权重发布日期价格与规格
1〜5Gemini 4 ArgonGoogle评价 76.0 ±2.6$2$101.05MGoogle 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
1〜5GPT-6 AstraOpenAI评价 75.6 ±2.7$10$501.05MOpenAI 发布 2026-⁠09 价格 $10 / $50 长度 1.05M
1〜7GPT-6.1 SolOpenAI评价 73.9 ±2.7$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
1〜9Gemini 3.1 Pro (preview)Google评价 73.5 ±2.7$2$121.05MGoogle 发布 2026-⁠02 价格 $2 / $12 长度 1.05M
1〜10Claude Opus 5.5Anthropic评价 72.2 ±2.8$4$201MAnthropic 发布 2026-⁠09 价格 $4 / $20 长度 1M
3〜11Claude Fable 5.1Anthropic评价 70.8 ±2.8$10$501MAnthropic 发布 2026-⁠09 价格 $10 / $50 长度 1M
3〜11Claude Fable 5Anthropic评价 70.7 ±2.8$10$501MAnthropic 发布 2026-⁠06 价格 $10 / $50 长度 1M
4〜13Gemini 3.8 FlashGoogle评价 69.7 ±2.8$0.75$3.751.05MGoogle 发布 2026-⁠09 价格 $0.75 / $3.75 长度 1.05M
4〜13GPT-5.6 SolOpenAI评价 69.7 ±2.8$4$201.05MOpenAI 发布 2026-⁠07 价格 $4 / $20 长度 1.05M
5〜13Gemini 3.7 FlashGoogle评价 69.2 ±2.9$0.75$3.751.05MGoogle 发布 2026-⁠08 价格 $0.75 / $3.75 长度 1.05M
6〜14Gemini 3 Flash (preview)Google评价 66.8 ±2.9$0.5$31MGoogle 发布 2025-⁠12 价格 $0.5 / $3 长度 1M
8〜14Gemini 3.5 FlashGoogle评价 66.2 ±2.9$1.5$91.05MGoogle 发布 2026-⁠05 价格 $1.5 / $9 长度 1.05M
8〜14Gemini 3.6 FlashGoogle评价 66.2 ±2.9$0.75$3.751.05MGoogle 发布 2026-⁠07 价格 $0.75 / $3.75 长度 1.05M
11〜17GPT-5.5OpenAI评价 63.0 ±3.0$5$301.05MOpenAI 发布 2026-⁠04 价格 $5 / $30 长度 1.05M
14〜19GPT-6 SolOpenAI评价 60.7 ±3.0$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
14〜20Muse Spark 1.2Meta评价 60.3 ±3.0$1.25$4.251.05MMeta 发布 2026-⁠08 价格 $1.25 / $4.25 长度 1.05M
14〜21Claude Opus 5Anthropic评价 59.9 ±3.0$5$251MAnthropic 发布 2026-⁠07 价格 $5 / $25 长度 1M
15〜21Muse Spark 1.1Meta评价 57.8 ±3.1$1.25$4.251MMeta 发布 2026-⁠07 价格 $1.25 / $4.25 长度 1M
15〜23Muse Spark Open⁠Meta评价 56.6 ±3.1——1.04MMeta 发布 2026-⁠10 价格 — 长度 1.04M
16〜25Grok 4.7xAI评价 56.0 ±3.1$2$6500KxAI 发布 2026-⁠09 价格 $2 / $6 长度 500K
17〜25Qwen3.7 MaxAlibaba评价 55.8 ±3.1$2.5$7.51MAlibaba 发布 2026-⁠05 价格 $2.5 / $7.5 长度 1M
19〜30Claude Opus 4.8Anthropic评价 53.0 ±3.1$5$251MAnthropic 发布 2026-⁠05 价格 $5 / $25 长度 1M
19〜30DeepSeek-V4 Pro (2026-⁠08)⁠DeepSeek评价 52.9 ±3.1$0.66$1.981MDeepSeek 发布 2026-⁠08 价格 $0.66 / $1.98 长度 1M
20〜32Qwen3.6 Max (preview)Alibaba评价 52.0 ±3.1$1.3$7.8240KAlibaba 发布 2026-⁠04 价格 $1.3 / $7.8 长度 240K
20〜32Claude Opus 4.7Anthropic评价 51.7 ±3.1$5$251MAnthropic 发布 2026-⁠04 价格 $5 / $25 长度 1M
22〜37Kimi K3⁠Moonshot评价 50.6 ±3.1$3$151.05MMoonshot 发布 2026-⁠07 价格 $3 / $15 长度 1.05M
22〜38GPT-5OpenAI评价 50.1 ±3.1$1.25$10400KOpenAI 发布 2025-⁠08 价格 $1.25 / $10 长度 400K
22〜40o3OpenAI评价 49.4 ±3.1$2$8200KOpenAI 发布 2025-⁠04 价格 $2 / $8 长度 200K
22〜40Grok 4.6xAI评价 49.3 ±3.1$2$6500KxAI 发布 2026-⁠08 价格 $2 / $6 长度 500K
22〜40Qwen3 Max (instruct)Alibaba评价 48.7 ±3.1——258KAlibaba 发布 2025-⁠09 价格 — 长度 258K
24〜41Grok 4.5xAI评价 48.3 ±3.1$2$6500KxAI 发布 2026-⁠07 价格 $2 / $6 长度 500K
24〜41GPT-5.1OpenAI评价 48.0 ±3.1$1.25$10400KOpenAI 发布 2025-⁠11 价格 $1.25 / $10 长度 400K
26〜42Qwen3.8 Max (2026-⁠09)Alibaba评价 47.3 ±3.1——1MAlibaba 发布 2026-⁠09 价格 — 长度 1M
26〜43Claude Opus 4.6Anthropic评价 47.0 ±3.1$5$251MAnthropic 发布 2026-⁠02 价格 $5 / $25 长度 1M
26〜43DeepSeek-V4 Pro⁠DeepSeek评价 47.0 ±3.1$0.66$1.981MDeepSeek 发布 2026-⁠04 价格 $0.66 / $1.98 长度 1M
26〜44Claude Sonnet 5.5Anthropic评价 46.5 ±3.1$2$101MAnthropic 发布 2026-⁠09 价格 $2 / $10 长度 1M
26〜44GPT-5.4 ProOpenAI评价 46.3 ±3.1$30$1801.05MOpenAI 发布 2026-⁠03 价格 $30 / $180 长度 1.05M
27〜44Qwen3.8 MaxAlibaba评价 45.8 ±3.1$2$61MAlibaba 发布 2026-⁠08 价格 $2 / $6 长度 1M
28〜45Claude Opus 4.5Anthropic评价 45.7 ±3.1$5$25200KAnthropic 发布 2025-⁠11 价格 $5 / $25 长度 200K
28〜48GPT-5.4OpenAI评价 45.1 ±3.1$2.5$151.05MOpenAI 发布 2026-⁠03 价格 $2.5 / $15 长度 1.05M

最高正确率的变化

2024-02-29发布日期2026-10-17
如何阅读本页
  • Google 从原来的 SimpleQA 中去掉了相似的问题，并修正了领域的偏向和标准答案的错误。数值为正确率。
  • 正确率是答对题目的比例。差 1 个百分点相当于 100 题中的 1 题。
  • 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
  • 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
  • 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。

数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-⁠10-⁠24，数据来源