跳到主要内容
Bench

语言

English日本語中文Español

网站信息

任务成绩

修复真实 Python 缺陷的能力 (SWE-Bench verified)

让模型查看代码并修复公开 Python 仓库中提交的 GitHub issue 的任务，使用经开发者人工确认过的任务。

如何看这张表

  • 越靠上评价越高，像“第 1〜⁠2 名”这样以范围显示的模型之间的差在误差范围内。
  • 评价是完成共同任务的次数比例 (%)。
  • 差 3 就是 100 次中差 3 次，± 是重新测量时会变动的幅度。
  • 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
  • 长度是一次能让它读的文本量 (token)。

第 1 名的误差幅度

排名模型开发方成功率
(%)成功率的刻度 0〜⁠100		评测日期输入 $
/100 万		输出 $
/100 万		一次能读的
长度		支持权重发布日期价格与规格
1〜5Claude Opus 4.7Anthropic评价 83.5 ±3.3$5$251MAnthropic 发布 2026-⁠04 价格 $5 / $25 长度 1M
1〜13GPT-5.5OpenAI评价 80.6 ±3.5$5$301.05MOpenAI 发布 2026-⁠04 价格 $5 / $30 长度 1.05M
1〜16Gemini 3.5 FlashGoogle评价 79.3 ±3.6$1.5$91.05MGoogle 发布 2026-⁠05 价格 $1.5 / $9 长度 1.05M
1〜20Claude Opus 4.6Anthropic评价 78.7 ±3.6$5$251MAnthropic 发布 2026-⁠02 价格 $5 / $25 长度 1M
1〜20GLM-5.2⁠Z.ai评价 78.7 ±3.7$1.4$4.41MZ.ai 发布 2026-⁠06 价格 $1.4 / $4.4 长度 1M
2〜21DeepSeek-V4 Pro⁠DeepSeek评价 77.6 ±3.7$0.66$1.981MDeepSeek 发布 2026-⁠04 价格 $0.66 / $1.98 长度 1M
2〜22Qwen3.7 MaxAlibaba评价 77.3 ±3.7$2.5$7.51MAlibaba 发布 2026-⁠05 价格 $2.5 / $7.5 长度 1M
2〜22GPT-5.4OpenAI评价 76.9 ±3.8$2.5$151.05MOpenAI 发布 2026-⁠03 价格 $2.5 / $15 长度 1.05M
2〜23Claude Opus 4.5Anthropic评价 76.7 ±3.8$5$25200KAnthropic 发布 2025-⁠11 价格 $5 / $25 长度 200K
2〜23Kimi K2.6⁠Moonshot评价 76.7 ±3.8$0.95$4262.1KMoonshot 发布 2026-⁠04 价格 $0.95 / $4 长度 262.1K
2〜23Qwen3.6 Max (preview)Alibaba评价 76.7 ±3.8$1.3$7.8240KAlibaba 发布 2026-⁠04 价格 $1.3 / $7.8 长度 240K
2〜24Gemini 3.1 Pro (preview)Google评价 75.6 ±3.8$2$121.05MGoogle 发布 2026-⁠02 价格 $2 / $12 长度 1.05M
2〜24Gemini 3 Flash (preview)Google评价 75.4 ±3.8$0.5$31MGoogle 发布 2025-⁠12 价格 $0.5 / $3 长度 1M
3〜24Claude Sonnet 4.6Anthropic评价 75.2 ±3.9$3$151MAnthropic 发布 2026-⁠02 价格 $3 / $15 长度 1M
3〜24GPT-5.3 CodexOpenAI评价 74.8 ±3.9$1.75$14400KOpenAI 发布 2026-⁠02 价格 $1.75 / $14 长度 400K
3〜24GLM-5.1⁠Z.ai评价 74.2 ±3.9$1.4$4.4200KZ.ai 发布 2026-⁠04 价格 $1.4 / $4.4 长度 200K
4〜24GPT-5.2OpenAI评价 73.8 ±3.9$1.75$14400KOpenAI 发布 2025-⁠12 价格 $1.75 / $14 长度 400K
4〜24Kimi K2.5⁠Moonshot评价 73.8 ±3.9——262.1KMoonshot 发布 2026-⁠01 价格 — 长度 262.1K
4〜25GPT-5OpenAI评价 73.6 ±3.9$1.25$10400KOpenAI 发布 2025-⁠08 价格 $1.25 / $10 长度 400K
4〜25Claude Opus 4.1Anthropic评价 73.3 ±3.9——200KAnthropic 发布 2025-⁠08 价格 — 长度 200K
6〜25Gemini 3 Pro (preview)Google评价 72.9 ±4.0——1MGoogle 发布 2025-⁠11 价格 — 长度 1M
7〜25GLM-5⁠Z.ai评价 72.1 ±4.1$1$3.2204.8KZ.ai 发布 2026-⁠02 价格 $1 / $3.2 长度 204.8K
9〜25Claude Sonnet 4.5Anthropic评价 71.3 ±4.0$3$15200KAnthropic 发布 2025-⁠09 价格 $3 / $15 长度 200K
12〜25Claude Opus 4Anthropic评价 70.7 ±4.1——200KAnthropic 发布 2025-⁠05 价格 — 长度 200K
19〜27GPT-5.1OpenAI评价 68.0 ±4.2$1.25$10400KOpenAI 发布 2025-⁠11 价格 $1.25 / $10 长度 400K
25〜28GPT-5 miniOpenAI评价 64.7 ±4.3$0.25$2400KOpenAI 发布 2025-⁠08 价格 $0.25 / $2 长度 400K
25〜30o3OpenAI评价 62.3 ±4.3$2$8200KOpenAI 发布 2025-⁠04 价格 $2 / $8 长度 200K
26〜30Claude 3.7 SonnetAnthropic评价 61.0 ±4.4——200KAnthropic 发布 2025-⁠02 价格 — 长度 200K
27〜30Qwen3.6 PlusAlibaba评价 57.9 ±4.4$0.5$31MAlibaba 发布 2026-⁠03 价格 $0.5 / $3 长度 1M
27〜30Gemini 2.5 ProGoogle评价 57.6 ±4.4$1.25$101MGoogle 发布 2025-⁠06 价格 $1.25 / $10 长度 1M
31GPT-4.1OpenAI评价 48.5 ±4.5$2$81.05MOpenAI 发布 2025-⁠04 价格 $2 / $8 长度 1.05M
32GPT-4o (2024-⁠11)OpenAI评价 31.0 ±4.1$2.5$10128KOpenAI 发布 2024-⁠11 价格 $2.5 / $10 长度 128K

最高成功率的变化

2024-11-20发布日期2026-06-16
如何阅读本页
  • 用修复后的代码运行仓库的单元测试来评分，数值为成功解决的任务所占的比例。
  • 成功率是成功次数的比例。差 1 个百分点相当于 100 次中的 1 次。
  • 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
  • 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
  • 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。

数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-⁠10-⁠24，数据来源