跳到主要内容

任务成绩

找出家具组装错误的任务 (Furniture Assembly)

看 IKEA 家具组装后的照片和官方组装说明书,判断组装是否正确,如有错误则回答是哪一步出错的任务。

如何看这张表

  • 越靠上评价越高,像“第 1〜⁠2 名”这样以范围显示的模型之间的差在误差范围内。
  • 评价是共同题目中答对题目的比例 (%)。
  • ± 是重新测量时会变动的幅度,细微的差异不必在意。
  • 价格是每 100 万 token 的参考,依次为让它读的部分、让它写的部分。
  • 长度是一次能让它读的文本量 (token)。

第 1 名的误差幅度

排名模型开发方正确率
(%)
正确率的刻度 0〜⁠100
评测日期输入 $
/100 万
输出 $
/100 万
一次能读的
长度
支持权重发布日期价格与规格
1〜6Claude Opus 5.5Anthropic评价 76.2 ±13.2$4$201MAnthropic 发布 2026-⁠09 价格 $4 / $20 长度 1M
1〜6GPT-6.1 SolOpenAI评价 71.4 ±13.8$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
1〜6GPT-6 AstraOpenAI评价 71.4 ±13.8$10$501.05MOpenAI 发布 2026-⁠09 价格 $10 / $50 长度 1.05M
1〜7Claude Sonnet 5.5Anthropic评价 64.3 ±15.4$2$101MAnthropic 发布 2026-⁠09 价格 $2 / $10 长度 1M
1〜9Gemini 4 ArgonGoogle评价 60.7 ±15.8$2$101.05MGoogle 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
1〜11Claude Fable 5.1Anthropic评价 57.1 ±16.0$10$501MAnthropic 发布 2026-⁠09 价格 $10 / $50 长度 1M
4〜14Claude Opus 5Anthropic评价 44.0 ±17.3$5$251MAnthropic 发布 2026-⁠07 价格 $5 / $25 长度 1M
5〜16GPT-6 SolOpenAI评价 40.5 ±18.0$2$101.05MOpenAI 发布 2026-⁠09 价格 $2 / $10 长度 1.05M
5〜17GPT-5.6 SolOpenAI评价 38.1 ±17.8$4$201.05MOpenAI 发布 2026-⁠07 价格 $4 / $20 长度 1.05M
6〜19GPT-5.6 TerraOpenAI评价 34.5 ±18.0$2$121.05MOpenAI 发布 2026-⁠07 价格 $2 / $12 长度 1.05M
6〜19Muse WonderMeta评价 34.5 ±18.0$4$201.05MMeta 发布 2026-⁠10 价格 $4 / $20 长度 1.05M
7〜24Claude Haiku 5.5Anthropic评价 25.0 ±18.1$0.1$0.51MAnthropic 发布 2026-⁠10 价格 $0.1 / $0.5 长度 1M
7〜26GPT-5.5OpenAI评价 20.2 ±17.9$5$301.05MOpenAI 发布 2026-⁠04 价格 $5 / $30 长度 1.05M
7〜26GPT-6 LunaOpenAI评价 20.2 ±17.9$0.1$0.51.05MOpenAI 发布 2026-⁠09 价格 $0.1 / $0.5 长度 1.05M
8〜28Claude Opus 4.8Anthropic评价 17.9 ±17.9$5$251MAnthropic 发布 2026-⁠05 价格 $5 / $25 长度 1M
8〜28GPT-5.6 LunaOpenAI评价 17.9 ±17.9$0.2$1.21.05MOpenAI 发布 2026-⁠07 价格 $0.2 / $1.2 长度 1.05M
9〜28Grok 4.6xAI评价 14.3 ±17.5$2$6500KxAI 发布 2026-⁠08 价格 $2 / $6 长度 500K
10〜30GPT-5.2OpenAI评价 11.9 ±17.7$1.75$14400KOpenAI 发布 2025-⁠12 价格 $1.75 / $14 长度 400K
10〜31GPT-5.4OpenAI评价 10.7 ±17.5$2.5$151.05MOpenAI 发布 2026-⁠03 价格 $2.5 / $15 长度 1.05M
12〜34Claude Fable 5Anthropic评价 8.3 ±17.3$10$501MAnthropic 发布 2026-⁠06 价格 $10 / $50 长度 1M
12〜34DeepSeek-V4.1 Flash⁠DeepSeek评价 6.0 ±16.8——1MDeepSeek 发布 2026-⁠09 价格 — 长度 1M
12〜34Kimi K3⁠Moonshot评价 6.0 ±17.1$3$151.05MMoonshot 发布 2026-⁠07 价格 $3 / $15 长度 1.05M
12〜34Claude Opus 4.7Anthropic评价 4.8 ±17.2$5$251MAnthropic 发布 2026-⁠04 价格 $5 / $25 长度 1M
12〜34Gemini 3.8 FlashGoogle评价 2.4 ±16.6$0.75$3.751.05MGoogle 发布 2026-⁠09 价格 $0.75 / $3.75 长度 1.05M
13〜34Claude Opus 4.5Anthropic评价 0.0 ±16.4$5$25200KAnthropic 发布 2025-⁠11 价格 $5 / $25 长度 200K
13〜34Claude Opus 4.6Anthropic评价 0.0 ±16.4$5$251MAnthropic 发布 2026-⁠02 价格 $5 / $25 长度 1M
15〜34Gemini 3.1 Pro (preview)Google评价 0.0 ±15.8$2$121.05MGoogle 发布 2026-⁠02 价格 $2 / $12 长度 1.05M
15〜34Gemini 3.7 FlashGoogle评价 0.0 ±15.8$0.75$3.751.05MGoogle 发布 2026-⁠08 价格 $0.75 / $3.75 长度 1.05M
18〜34Gemini 3.6 FlashGoogle评价 0.0 ±15.1$0.75$3.751.05MGoogle 发布 2026-⁠07 价格 $0.75 / $3.75 长度 1.05M
18〜34Grok 4.5xAI评价 0.0 ±15.0$2$6500KxAI 发布 2026-⁠07 价格 $2 / $6 长度 500K
19〜34Kimi K2.6⁠Moonshot评价 0.0 ±14.6$0.95$4262.1KMoonshot 发布 2026-⁠04 价格 $0.95 / $4 长度 262.1K
20〜34Grok 4.7xAI评价 0.0 ±14.6$2$6500KxAI 发布 2026-⁠09 价格 $2 / $6 长度 500K
20〜34Mistral Large 4Mistral评价 0.0 ±14.6$1.36$4.18524.3KMistral 发布 2026-⁠10 价格 $1.36 / $4.18 长度 524.3K
20〜34Qwen3.8 Max (2026-⁠09)Alibaba评价 0.0 ±14.6——1MAlibaba 发布 2026-⁠09 价格 — 长度 1M

最高正确率的变化

2025-11-24发布日期2026-10-12
如何阅读本页
  • 考查把说明书的图与实物对应起来的空间推理。数值为正确率。
  • 正确率是答对题目的比例,已去掉靠随机猜测能得到的部分。
  • 支持一栏的图标从左起依次为:能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
  • 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型,一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
  • 模型名称旁的 ChatGPT 等,是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用,请在服务一方确认。

数据:Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT),更新于 2026-⁠10-⁠24,数据来源