跳到主要内容

其他机构的公布值

抽象的图形谜题 (ARC-AGI-2)

给出几个彩色方格的例子,让模型从中找出变换规则并套用到新方格上的谜题。

如何看这张表

  • 越靠上评价越高,像“第 1〜⁠2 名”这样以范围显示的模型之间的差在误差范围内。
  • 评价是任务制作机构等公布的值。
  • 测量条件可能因模型而异,细微的差异不必在意。
  • 价格是每 100 万 token 的参考,依次为让它读的部分、让它写的部分。
  • 长度是一次能让它读的文本量 (token)。
排名模型开发方正确率
(%)
正确率的刻度 40〜⁠100
输入 $
/100 万
输出 $
/100 万
一次能读的
长度
支持权重发布日期价格与规格
1GPT-6 AstraOpenAI评价 95.0$10$501.05MOpenAI 发布 2026-⁠09 价格 $10 / $50 长度 1.05M
2GPT-6.1 SolOpenAI评价 94.2$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
3Claude Opus 5.5Anthropic评价 93.3$4$201MAnthropic 发布 2026-⁠09 价格 $4 / $20 长度 1M
4GPT-5.6 SolOpenAI评价 92.5$4$201.05MOpenAI 发布 2026-⁠07 价格 $4 / $20 长度 1.05M
5Gemini 4 ArgonGoogle评价 91.3$2$101.05MGoogle 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
6Claude Opus 5Anthropic评价 90.4$5$251MAnthropic 发布 2026-⁠07 价格 $5 / $25 长度 1M
7Claude Fable 5.1Anthropic评价 90.0$10$501MAnthropic 发布 2026-⁠09 价格 $10 / $50 长度 1M
8GPT-6 SolOpenAI评价 89.6$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
9〜10Claude Fable 5Anthropic评价 89.2$10$501MAnthropic 发布 2026-⁠06 价格 $10 / $50 长度 1M
9〜10Gemini 3.8 FlashGoogle评价 89.2$0.75$3.751.05MGoogle 发布 2026-⁠09 价格 $0.75 / $3.75 长度 1.05M
11GPT-5.5OpenAI评价 85.0$5$301.05MOpenAI 发布 2026-⁠04 价格 $5 / $30 长度 1.05M
12Gemini 3.7 FlashGoogle评价 84.6$0.75$3.751.05MGoogle 发布 2026-⁠08 价格 $0.75 / $3.75 长度 1.05M
13〜14Gemini 3 Deep ThinkGoogle评价 84.6———Google 发布 2026-⁠02 价格 — 长度 —
13〜14GPT-5.5 ProOpenAI评价 84.6$30$1801.05MOpenAI 发布 2026-⁠04 价格 $30 / $180 长度 1.05M
15GPT-5.6 TerraOpenAI评价 83.9$2$121.05MOpenAI 发布 2026-⁠07 价格 $2 / $12 长度 1.05M
16GPT-5.4 ProOpenAI评价 83.3$30$1801.05MOpenAI 发布 2026-⁠03 价格 $30 / $180 长度 1.05M
17Gemini 3.1 Pro (preview)Google评价 77.1$2$121.05MGoogle 发布 2026-⁠02 价格 $2 / $12 长度 1.05M
18Claude Opus 4.7Anthropic评价 75.8$5$251MAnthropic 发布 2026-⁠04 价格 $5 / $25 长度 1M
19GPT-5.4OpenAI评价 74.0$2.5$151.05MOpenAI 发布 2026-⁠03 价格 $2.5 / $15 长度 1.05M
20DeepSeek-V4.1 Flash⁠DeepSeek评价 72.9——1MDeepSeek 发布 2026-⁠09 价格 — 长度 1M
21〜22Claude Opus 4.8Anthropic评价 72.1$5$251MAnthropic 发布 2026-⁠05 价格 $5 / $25 长度 1M
21〜22Gemini 3.5 FlashGoogle评价 72.1$1.5$91.05MGoogle 发布 2026-⁠05 价格 $1.5 / $9 长度 1.05M
23Claude Opus 4.6Anthropic评价 69.2$5$251MAnthropic 发布 2026-⁠02 价格 $5 / $25 长度 1M
24Grok 4.6xAI评价 67.1$2$6500KxAI 发布 2026-⁠08 价格 $2 / $6 长度 500K
25GLM-5.3 Flash⁠Z.ai评价 65.8$0.15$0.51MZ.ai 发布 2026-⁠08 价格 $0.15 / $0.5 长度 1M
26Grok 4.20xAI评价 65.1——2MxAI 发布 2026-⁠02 价格 — 长度 2M
27〜28DeepSeek-V4 Flash (2026-⁠07)⁠DeepSeek评价 61.4——1MDeepSeek 发布 2026-⁠07 价格 — 长度 1M
27〜28Grok 4.7xAI评价 61.4$2$6500KxAI 发布 2026-⁠09 价格 $2 / $6 长度 500K
29〜30Claude Haiku 5.5Anthropic评价 61.3$0.1$0.51MAnthropic 发布 2026-⁠10 价格 $0.1 / $0.5 长度 1M
29〜30DeepSeek-V4 Pro (2026-⁠08)⁠DeepSeek评价 61.3$0.66$1.981MDeepSeek 发布 2026-⁠08 价格 $0.66 / $1.98 长度 1M
31Claude Sonnet 4.6Anthropic评价 60.4$3$151MAnthropic 发布 2026-⁠02 价格 $3 / $15 长度 1M
32〜33Gemini 3.6 FlashGoogle评价 60.4$0.75$3.751.05MGoogle 发布 2026-⁠07 价格 $0.75 / $3.75 长度 1.05M
32〜33Kimi K3⁠Moonshot评价 60.4$3$151.05MMoonshot 发布 2026-⁠07 价格 $3 / $15 长度 1.05M
34GPT-5.6 LunaOpenAI评价 59.5$0.2$1.21.05MOpenAI 发布 2026-⁠07 价格 $0.2 / $1.2 长度 1.05M
35GPT-6 LunaOpenAI评价 59.3$0.1$0.51.05MOpenAI 发布 2026-⁠09 价格 $0.1 / $0.5 长度 1.05M
36GPT-5.2 ProOpenAI评价 54.2$21$168400KOpenAI 发布 2025-⁠12 价格 $21 / $168 长度 400K
37GPT-5.2OpenAI评价 52.9$1.75$14400KOpenAI 发布 2025-⁠12 价格 $1.75 / $14 长度 400K
38Grok 4.5xAI评价 52.6$2$6500KxAI 发布 2026-⁠07 价格 $2 / $6 长度 500K
39Qwen3.8 27B⁠Alibaba评价 42.4——262.1KAlibaba 发布 2026-⁠08 价格 — 长度 262.1K
40Inkling Small⁠Thinking Machines评价 40.1$0.58$1.44524.3KThinking Machines 发布 2026-⁠07 价格 $0.58 / $1.44 长度 524.3K

最高正确率的变化

2024-07-18发布日期2026-10-07
如何阅读本页
  • 这些谜题设计为人类能解开、但仅靠记住的知识解不开。这是收集了任务制作机构等公布的值。数值为正确率。
  • 正确率是答对题目的比例。差 1 个百分点相当于 100 题中的 1 题。
  • 支持一栏的图标从左起依次为:能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
  • 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型,一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
  • 模型名称旁的 ChatGPT 等,是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用,请在服务一方确认。

数据:Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT),更新于 2026-⁠10-⁠24,数据来源