其他机构的公布值
用 6 种编程语言编辑代码 (Aider polyglot)
让模型通过改写现有文件来解答 C++ / Go / Java / JavaScript / Python / Rust 的高难度练习题的任务。
如何看这张表
- 越靠上评价越高，像“第 1〜2 名”这样以范围显示的模型之间的差在误差范围内。
- 评价是任务制作机构等公布的值。
- 测量条件可能因模型而异，细微的差异不必在意。
- 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
- 长度是一次能让它读的文本量 (token)。
| 排名 | 模型 | 开发方 | 成功率 (%) | 输入 $ /100 万 | 输出 $ /100 万 | 一次能读的 长度 | 支持 | 权重 | 发布日期 | 价格与规格 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | GPT-5 | OpenAI | 评价 88.0 | $1.25 | $10 | 400K | OpenAI 发布 2025-08 价格 $1.25 / $10 长度 400K | |||
| 2 | o3-pro | OpenAI | 评价 84.9 | — | — | 200K | OpenAI 发布 2025-06 价格 — 长度 200K | |||
| 3 | Gemini 2.5 Pro (preview, 2025-05) | 评价 83.1 | — | — | 1.05M | Google 发布 2025-05 价格 — 长度 1.05M | ||||
| 4 | o3 | OpenAI | 评价 81.3 | $2 | $8 | 200K | OpenAI 发布 2025-04 价格 $2 / $8 长度 200K | |||
| 5 | Grok 4 | xAI | 评价 79.6 | — | — | 256K | xAI 发布 2025-07 价格 — 长度 256K | |||
| 6〜7 | DeepSeek-V3.2 (exp) | DeepSeek | 评价 74.2 | — | — | 163.8K | DeepSeek 发布 2025-09 价格 — 长度 163.8K | |||
| 6〜7 | DeepSeek-V3.2 | DeepSeek | 评价 74.2 | — | — | 128K | DeepSeek 发布 2025-12 价格 — 长度 128K | |||
| 8〜9 | Gemini 2.5 Pro (exp) | 评价 72.9 | — | — | 1.05M | Google 发布 2025-03 价格 — 长度 1.05M | ||||
| 8〜9 | Gemini 2.5 Pro (preview, 2025-03) | 评价 72.9 | — | — | 1.05M | Google 发布 2025-03 价格 — 长度 1.05M | ||||
| 10〜11 | Claude Opus 4 | Anthropic | 评价 72.0 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | |||
| 10〜11 | o4-mini | OpenAI | 评价 72.0 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-04 价格 $1.1 / $4.4 长度 200K | |||
| 12 | DeepSeek-R1 (2025-05) | DeepSeek | 评价 71.4 | — | — | 131.1K | DeepSeek 发布 2025-05 价格 — 长度 131.1K | |||
| 13 | DeepSeek Chat (API) | DeepSeek | 评价 70.2 | — | — | 1M | DeepSeek 发布 2025-12 价格 — 长度 1M | |||
| 14 | Claude 3.7 Sonnet | Anthropic | 评价 64.9 | — | — | 200K | Anthropic 发布 2025-02 价格 — 长度 200K | |||
| 15 | o1 | OpenAI | 评价 61.7 | $15 | $60 | 128K | OpenAI 发布 2024-12 价格 $15 / $60 长度 128K | |||
| 16 | Claude Sonnet 4 | Anthropic | 评价 61.3 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | |||
| 17 | o3-mini | OpenAI | 评价 60.4 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-01 价格 $1.1 / $4.4 长度 200K | |||
| 18〜19 | Qwen3 235B A22B | Alibaba | 评价 59.6 | $0.7 | $2.8 | 128K | Alibaba 发布 2025-04 价格 $0.7 / $2.8 长度 128K | |||
| 18〜19 | Qwen3 235B A22B (instruct) | Alibaba | 评价 59.6 | — | — | 128K | Alibaba 发布 2025-07 价格 — 长度 128K | |||
| 20〜21 | Kimi K2 (instruct) | Moonshot | 评价 59.1 | — | — | 131.1K | Moonshot 发布 2025-07 价格 — 长度 131.1K | |||
| 20〜21 | Kimi K2 (instruct, 2025-09) | Moonshot | 评价 59.1 | — | — | 262.1K | Moonshot 发布 2025-09 价格 — 长度 262.1K | |||
| 22 | DeepSeek-R1 | DeepSeek | 评价 56.9 | — | — | 128K | DeepSeek 发布 2025-01 价格 — 长度 128K | |||
| 23〜24 | DeepSeek-V3 (2025-03) | DeepSeek | 评价 55.1 | — | — | 163.8K | DeepSeek 发布 2025-03 价格 — 长度 163.8K | |||
| 23〜24 | Gemini 2.5 Flash (preview, 2025-05) | 评价 55.1 | — | — | 1.05M | Google 发布 2025-05 价格 — 长度 1.05M | ||||
| 25 | Grok 3 (beta) | xAI | 评价 53.3 | — | — | — | xAI 发布 2025-04 价格 — 长度 — | |||
| 26 | GPT-4.1 | OpenAI | 评价 52.4 | $2 | $8 | 1.05M | OpenAI 发布 2025-04 价格 $2 / $8 长度 1.05M | |||
| 27 | Claude 3.5 Sonnet (2024-10) | Anthropic | 评价 51.6 | — | — | 200K | Anthropic 发布 2024-10 价格 — 长度 200K | |||
| 28 | Grok 3 Mini (beta) | xAI | 评价 49.3 | — | — | — | xAI 发布 2025-04 价格 — 长度 — | |||
| 29 | DeepSeek-V3 | DeepSeek | 评价 48.4 | — | — | 128K | DeepSeek 发布 2024-12 价格 — 长度 128K | |||
| 30 | Gemini 2.5 Flash (preview, 2025-04) | 评价 47.1 | — | — | 1.05M | Google 发布 2025-04 价格 — 长度 1.05M | ||||
| 31 | ChatGPT-4o (2025-03-27) | OpenAI | 评价 45.3 | — | — | — | OpenAI 发布 2025-03 价格 — 长度 — | |||
| 32 | GPT-4.5 (preview) | OpenAI | 评价 44.9 | — | — | — | OpenAI 发布 2025-02 价格 — 长度 — | |||
| 33 | GPT-OSS 120B | OpenAI | 评价 41.8 | — | — | 128K | OpenAI 发布 2025-08 价格 — 长度 128K | |||
| 34 | Qwen3 32B | Alibaba | 评价 40.0 | $0.7 | $2.8 | 131.1K | Alibaba 发布 2025-04 价格 $0.7 / $2.8 长度 131.1K | |||
| 35 | Gemini Exp | 评价 38.2 | — | — | 2.1M | Google 发布 2024-12 价格 — 长度 2.1M | ||||
| 36 | Gemini 2.0 Pro (exp) | 评价 35.6 | — | — | 2.1M | Google 发布 2025-02 价格 — 长度 2.1M | ||||
| 37 | o1-mini | OpenAI | 评价 32.9 | — | — | 128K | OpenAI 发布 2024-09 价格 — 长度 128K | |||
| 38 | GPT-4.1 mini | OpenAI | 评价 32.4 | — | — | 1.05M | OpenAI 发布 2025-04 价格 — 长度 1.05M | |||
| 39 | Claude 3.5 Haiku | Anthropic | 评价 28.0 | — | — | 200K | Anthropic 发布 2024-10 价格 — 长度 200K | |||
| 40 | ChatGPT-4o (2025-01) | OpenAI | 评价 27.1 | — | — | — | OpenAI 发布 2025-01 价格 — 长度 — | |||
| 41 | GPT-4o (2024-08) | OpenAI | 评价 23.1 | $2.5 | $10 | 128K | OpenAI 发布 2024-08 价格 $2.5 / $10 长度 128K | |||
| 42 | Gemini 2.0 Flash (thinking, exp) | 评价 22.2 | — | — | — | Google 发布 2024-12 价格 — 长度 — | ||||
| 43 | Qwen Max | Alibaba | 评价 21.8 | — | — | 128K | Alibaba 发布 2025-01 价格 — 长度 128K | |||
| 44 | QwQ 32B | Alibaba | 评价 20.9 | — | — | 32.8K | Alibaba 发布 2025-03 价格 — 长度 32.8K | |||
| 45 | GPT-4o (2024-11) | OpenAI | 评价 18.2 | $2.5 | $10 | 128K | OpenAI 发布 2024-11 价格 $2.5 / $10 长度 128K | |||
| 46 | DeepSeek-V2.5 | DeepSeek | 评价 17.8 | — | — | — | DeepSeek 发布 2024-09 价格 — 长度 — | |||
| 47 | Qwen2.5 Coder 32B (instruct) | Alibaba | 评价 16.4 | — | — | 32.8K | Alibaba 发布 2024-11 价格 — 长度 32.8K | |||
| 48 | Llama 4 Maverick | Meta | 评价 15.6 | — | — | 524.3K | Meta 发布 2025-04 价格 — 长度 524.3K | |||
| 49 | Yi Lightning | 01.AI | 评价 12.9 | — | — | — | 01.AI 发布 2024-12 价格 — 长度 — | |||
| 50 | Command A | Cohere | 评价 12.0 | $2.5 | $10 | 256K | Cohere 发布 2025-03 价格 $2.5 / $10 长度 256K | |||
| 51 | Codestral | Mistral | 评价 11.1 | — | — | 256K | Mistral 发布 2025-01 价格 — 长度 256K | |||
| 52 | OpenHands LM 32B (v0.1) | All Hands AI | 评价 10.2 | — | — | — | — | All Hands AI 发布 2024-03 价格 — 长度 — | ||
| 53 | GPT-4.1 nano | OpenAI | 评价 8.9 | $0.1 | $0.4 | 1.05M | OpenAI 发布 2025-04 价格 $0.1 / $0.4 长度 1.05M | |||
| 54 | Gemma 3 27B | 评价 4.9 | — | — | 128K | Google 发布 2025-03 价格 — 长度 128K | ||||
| 55 | GPT-4o mini | OpenAI | 评价 3.6 | — | — | 128K | OpenAI 发布 2024-07 价格 — 长度 128K |
最高成功率的变化
2024-03-26发布日期2025-12-01
如何阅读本页
- 测试最多可以尝试 2 次，数值为通过的题目所占的比例。这是收集了任务制作机构等公布的值。
- 成功率是成功次数的比例。差 1 个百分点相当于 100 次中的 1 次。
- 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
- 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
- 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。
数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-10-24，数据来源