跳到主要内容

任务成绩

在隐去名称的游戏中选出最佳着法的题目 (Mystery Game Puzzles)

在把一款知名游戏改成解谜用的版本中,选出最佳下一步的题目。

如何看这张表

  • 越靠上评价越高,像“第 1〜⁠2 名”这样以范围显示的模型之间的差在误差范围内。
  • 评价是共同题目中答对题目的比例 (%)。
  • ± 是重新测量时会变动的幅度,细微的差异不必在意。
  • 价格是每 100 万 token 的参考,依次为让它读的部分、让它写的部分。
  • 长度是一次能让它读的文本量 (token)。

第 1 名的误差幅度

排名模型开发方正确率
(%)
正确率的刻度 0〜⁠100
评测日期输入 $
/100 万
输出 $
/100 万
一次能读的
长度
支持权重发布日期价格与规格
1〜2GPT-6 AstraOpenAI评价 82.4 ±8.0$10$501.05MOpenAI 发布 2026-⁠09 价格 $10 / $50 长度 1.05M
1〜3GPT-6.1 SolOpenAI评价 78.0 ±8.7$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
2〜8Claude Opus 5.5Anthropic评价 68.1 ±9.8$4$201MAnthropic 发布 2026-⁠09 价格 $4 / $20 长度 1M
3〜11Claude Sonnet 5.5Anthropic评价 61.4 ±10.4$2$101MAnthropic 发布 2026-⁠09 价格 $2 / $10 长度 1M
3〜12Gemini 4 ArgonGoogle评价 60.3 ±10.4$2$101.05MGoogle 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
3〜14Claude Opus 5Anthropic评价 54.8 ±10.7$5$251MAnthropic 发布 2026-⁠07 价格 $5 / $25 长度 1M
3〜14Claude Fable 5.1Anthropic评价 53.7 ±10.7$10$501MAnthropic 发布 2026-⁠09 价格 $10 / $50 长度 1M
3〜14GPT-5.6 SolOpenAI评价 53.7 ±10.7$4$201.05MOpenAI 发布 2026-⁠07 价格 $4 / $20 长度 1.05M
4〜16GPT-5.5OpenAI评价 51.5 ±10.8$5$301.05MOpenAI 发布 2026-⁠04 价格 $5 / $30 长度 1.05M
4〜16GPT-6 SolOpenAI评价 51.5 ±10.8$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
4〜16Claude Fable 5Anthropic评价 47.1 ±10.8$10$501MAnthropic 发布 2026-⁠06 价格 $10 / $50 长度 1M
5〜17Muse WonderMeta评价 46.0 ±10.8$4$201.05MMeta 发布 2026-⁠10 价格 $4 / $20 长度 1.05M
6〜20DeepSeek-V4.1 Flash (2026-⁠10)⁠DeepSeek评价 43.8 ±10.8$0.15$0.61MDeepSeek 发布 2026-⁠10 价格 $0.15 / $0.6 长度 1M
6〜25Gemini 3.8 FlashGoogle评价 41.6 ±10.8$0.75$3.751.05MGoogle 发布 2026-⁠09 价格 $0.75 / $3.75 长度 1.05M
9〜30DeepSeek-V4.1 Flash⁠DeepSeek评价 37.2 ±10.7——1MDeepSeek 发布 2026-⁠09 价格 — 长度 1M
9〜30DeepSeek-V4 Pro (2026-⁠08)⁠DeepSeek评价 37.2 ±10.7$0.66$1.981MDeepSeek 发布 2026-⁠08 价格 $0.66 / $1.98 长度 1M
12〜35Qwen3.8 MaxAlibaba评价 31.7 ±10.5$2$61MAlibaba 发布 2026-⁠08 价格 $2 / $6 长度 1M
13〜37Gemini 3.7 FlashGoogle评价 30.6 ±10.5$0.75$3.751.05MGoogle 发布 2026-⁠08 价格 $0.75 / $3.75 长度 1.05M
13〜37GPT-5.4OpenAI评价 30.6 ±10.5$2.5$151.05MOpenAI 发布 2026-⁠03 价格 $2.5 / $15 长度 1.05M
13〜37Claude Opus 4.8Anthropic评价 29.5 ±10.4$5$251MAnthropic 发布 2026-⁠05 价格 $5 / $25 长度 1M
14〜39Claude Sonnet 5Anthropic评价 28.4 ±10.4$2$101MAnthropic 发布 2026-⁠06 价格 $2 / $10 长度 1M
14〜39GPT-5.6 TerraOpenAI评价 28.4 ±10.4$2$121.05MOpenAI 发布 2026-⁠07 价格 $2 / $12 长度 1.05M
14〜41DeepSeek-V4 Flash (2026-⁠07)⁠DeepSeek评价 27.3 ±10.3——1MDeepSeek 发布 2026-⁠07 价格 — 长度 1M
14〜41Gemini 3.1 Pro (preview)Google评价 27.3 ±10.3$2$121.05MGoogle 发布 2026-⁠02 价格 $2 / $12 长度 1.05M
14〜41Grok 4.6xAI评价 27.3 ±10.3$2$6500KxAI 发布 2026-⁠08 价格 $2 / $6 长度 500K
15〜43GLM-5.3⁠Z.ai评价 26.2 ±10.2$1.4$4.41MZ.ai 发布 2026-⁠08 价格 $1.4 / $4.4 长度 1M
15〜45Gemini 3.5 FlashGoogle评价 25.1 ±10.1$1.5$91.05MGoogle 发布 2026-⁠05 价格 $1.5 / $9 长度 1.05M
15〜45Qwen3.7 MaxAlibaba评价 25.1 ±10.1$2.5$7.51MAlibaba 发布 2026-⁠05 价格 $2.5 / $7.5 长度 1M
15〜49Claude Haiku 5.5Anthropic评价 22.9 ±9.9$0.1$0.51MAnthropic 发布 2026-⁠10 价格 $0.1 / $0.5 长度 1M
15〜49Gemini 3.6 FlashGoogle评价 22.9 ±9.9$0.75$3.751.05MGoogle 发布 2026-⁠07 价格 $0.75 / $3.75 长度 1.05M
17〜52Grok 4.7xAI评价 21.8 ±9.8$2$6500KxAI 发布 2026-⁠09 价格 $2 / $6 长度 500K
17〜52o3OpenAI评价 21.8 ±9.8$2$8200KOpenAI 发布 2025-⁠04 价格 $2 / $8 长度 200K
17〜58Claude Opus 4.7Anthropic评价 20.7 ±9.7$5$251MAnthropic 发布 2026-⁠04 价格 $5 / $25 长度 1M
17〜60Gemini 3 Flash (preview)Google评价 18.5 ±9.5$0.5$31MGoogle 发布 2025-⁠12 价格 $0.5 / $3 长度 1M
17〜60Kimi K3⁠Moonshot评价 18.5 ±9.5$3$151.05MMoonshot 发布 2026-⁠07 价格 $3 / $15 长度 1.05M
18〜60Claude Opus 4.6Anthropic评价 17.4 ±9.4$5$251MAnthropic 发布 2026-⁠02 价格 $5 / $25 长度 1M
18〜60Muse Spark 1.3Meta评价 17.4 ±9.6$1.25$4.251.05MMeta 发布 2026-⁠09 价格 $1.25 / $4.25 长度 1.05M
21〜60GPT-5.2OpenAI评价 15.2 ±9.1$1.75$14400KOpenAI 发布 2025-⁠12 价格 $1.75 / $14 长度 400K
21〜60GPT-5OpenAI评价 15.2 ±9.1$1.25$10400KOpenAI 发布 2025-⁠08 价格 $1.25 / $10 长度 400K
23〜63Claude Opus 4.5Anthropic评价 14.1 ±9.0$5$25200KAnthropic 发布 2025-⁠11 价格 $5 / $25 长度 200K

最高正确率的变化

2023-06-13发布日期2026-10-17
如何阅读本页
  • 为防止针对这款游戏的专门准备,游戏名称 / 题目文本 / 示例局面均未公开。数值为正确率。
  • 正确率是答对题目的比例,已去掉靠随机猜测能得到的部分。
  • 支持一栏的图标从左起依次为:能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
  • 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型,一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
  • 模型名称旁的 ChatGPT 等,是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用,请在服务一方确认。

数据:Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT),更新于 2026-⁠10-⁠24,数据来源