如何看这张表
- 越靠上评价越高，像“第 1〜2 名”这样以范围显示的模型之间的差在误差范围内。
- 评价是共同题目中答对题目的比例 (%)。
- 差 3 就是 100 题中差 3 题，± 是重新测量时会变动的幅度。
- 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
- 长度是一次能让它读的文本量 (token)。
第 1 名的误差幅度
| 排名 | 模型 | 开发方 | 正确率 (%) | 评测日期 | 输入 $ /100 万 | 输出 $ /100 万 | 一次能读的 长度 | 支持 | 权重 | 发布日期 | 价格与规格 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1〜6 | GPT-5 | OpenAI | 评价 98.1 ±0.6 | $1.25 | $10 | 400K | OpenAI 发布 2025-08 价格 $1.25 / $10 长度 400K | ||||
| 1〜6 | GPT-5 mini | OpenAI | 评价 97.8 ±0.7 | $0.25 | $2 | 400K | OpenAI 发布 2025-08 价格 $0.25 / $2 长度 400K | ||||
| 1〜6 | o4-mini | OpenAI | 评价 97.8 ±0.7 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-04 价格 $1.1 / $4.4 长度 200K | ||||
| 1〜6 | o3 | OpenAI | 评价 97.8 ±0.7 | $2 | $8 | 200K | OpenAI 发布 2025-04 价格 $2 / $8 长度 200K | ||||
| 1〜7 | Claude Sonnet 4.5 | Anthropic | 评价 97.7 ±0.8 | $3 | $15 | 200K | Anthropic 发布 2025-09 价格 $3 / $15 长度 200K | ||||
| 1〜9 | Qwen3 Max (instruct) | Alibaba | 评价 97.1 ±0.8 | — | — | 258K | Alibaba 发布 2025-09 价格 — 长度 258K | ||||
| 5〜11 | DeepSeek-R1 (2025-05) | DeepSeek | 评价 96.6 ±0.8 | — | — | 131.1K | DeepSeek 发布 2025-05 价格 — 长度 131.1K | ||||
| 6〜11 | o3-mini | OpenAI | 评价 96.5 ±0.8 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-01 价格 $1.1 / $4.4 长度 200K | ||||
| 6〜12 | Claude Haiku 4.5 | Anthropic | 评价 96.4 ±1.0 | $1 | $5 | 200K | Anthropic 发布 2025-10 价格 $1 / $5 长度 200K | ||||
| 7〜13 | Gemini 2.5 Pro (preview, 2025-05) | 评价 95.9 ±0.8 | — | — | 1.05M | Google 发布 2025-05 价格 — 长度 1.05M | |||||
| 7〜13 | Gemini 2.5 Pro (preview, 2025-03) | 评价 95.6 ±0.9 | — | — | 1.05M | Google 发布 2025-03 价格 — 长度 1.05M | |||||
| 9〜13 | GPT-5 nano | OpenAI | 评价 95.2 ±0.9 | $0.05 | $0.4 | 400K | OpenAI 发布 2025-08 价格 $0.05 / $0.4 长度 400K | ||||
| 10〜14 | o1 | OpenAI | 评价 94.7 ±1.2 | $15 | $60 | 128K | OpenAI 发布 2024-12 价格 $15 / $60 长度 128K | ||||
| 13〜15 | DeepSeek-R1 | DeepSeek | 评价 93.1 ±1.4 | — | — | 128K | DeepSeek 发布 2025-01 价格 — 长度 128K | ||||
| 14〜18 | Claude 3.7 Sonnet | Anthropic | 评价 91.2 ±1.5 | — | — | 200K | Anthropic 发布 2025-02 价格 — 长度 200K | ||||
| 15〜19 | Grok 3 Mini (beta) | xAI | 评价 90.9 ±1.5 | — | — | — | xAI 发布 2025-04 价格 — 长度 — | ||||
| 15〜19 | DeepSeek-R1-Distill-Llama-70B | DeepSeek | 评价 89.9 ±1.3 | — | — | 32.8K | DeepSeek 发布 2025-01 价格 — 长度 32.8K | ||||
| 15〜20 | o1-mini | OpenAI | 评价 89.2 ±1.3 | — | — | 128K | OpenAI 发布 2024-09 价格 — 长度 128K | ||||
| 16〜21 | Grok 3 (beta) | xAI | 评价 88.7 ±1.7 | — | — | — | xAI 发布 2025-04 价格 — 长度 — | ||||
| 18〜22 | GPT-4.1 mini | OpenAI | 评价 87.3 ±1.4 | — | — | 1.05M | OpenAI 发布 2025-04 价格 — 长度 1.05M | ||||
| 19〜22 | DeepSeek-R1-Distill-Qwen-14B | DeepSeek | 评价 87.1 ±1.5 | — | — | 32.8K | DeepSeek 发布 2025-01 价格 — 长度 32.8K | ||||
| 20〜25 | Claude Opus 4 | Anthropic | 评价 85.0 ±1.9 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | ||||
| 22〜27 | Claude Sonnet 4 | Anthropic | 评价 84.4 ±2.0 | — | — | 200K | Anthropic 发布 2025-05 价格 — 长度 200K | ||||
| 22〜28 | Gemini 2.0 Pro (exp) | 评价 83.5 ±2.0 | — | — | 2.1M | Google 发布 2025-02 价格 — 长度 2.1M | |||||
| 22〜28 | GPT-4.1 | OpenAI | 评价 83.0 ±1.7 | $2 | $8 | 1.05M | OpenAI 发布 2025-04 价格 $2 / $8 长度 1.05M | ||||
| 23〜28 | Gemini 2.0 Flash | 评价 82.2 ±1.7 | — | — | — | Google 发布 2025-02 价格 — 长度 — | |||||
| 23〜29 | o1-preview | OpenAI | 评价 81.6 ±2.1 | — | — | — | OpenAI 发布 2024-09 价格 — 长度 — | ||||
| 24〜28 | Mistral Medium 3 | Mistral | 评价 81.6 ±1.8 | $0.4 | $2 | 128K | Mistral 发布 2025-05 价格 $0.4 / $2 长度 128K | ||||
| 28〜29 | GPT-4.5 (preview) | OpenAI | 评价 78.6 ±2.2 | — | — | — | OpenAI 发布 2025-02 价格 — 长度 — | ||||
| 30〜32 | DeepSeek-V3 (2025-03) | DeepSeek | 评价 75.5 ±1.7 | — | — | 163.8K | DeepSeek 发布 2025-03 价格 — 长度 163.8K | ||||
| 30〜32 | Gemma 3 27B | 评价 74.0 ±2.2 | — | — | 128K | Google 发布 2025-03 价格 — 长度 128K | |||||
| 30〜33 | Llama 4 Maverick (FP8) | Meta | 评价 73.0 ±2.1 | — | — | 1.05M | Meta 发布 2025-04 价格 — 长度 1.05M | ||||
| 32〜35 | Gemini 1.5 Pro 002 | 评价 70.4 ±2.0 | — | — | — | Google 发布 2024-09 价格 — 长度 — | |||||
| 33〜36 | GPT-4.1 nano | OpenAI | 评价 70.0 ±2.0 | $0.1 | $0.4 | 1.05M | OpenAI 发布 2025-04 价格 $0.1 / $0.4 长度 1.05M | ||||
| 33〜36 | Qwen3 235B A22B | Alibaba | 评价 68.9 ±1.9 | $0.7 | $2.8 | 128K | Alibaba 发布 2025-04 价格 $0.7 / $2.8 长度 128K | ||||
| 34〜39 | Qwen Max | Alibaba | 评价 67.2 ±2.2 | — | — | 128K | Alibaba 发布 2025-01 价格 — 长度 128K | ||||
| 36〜42 | Qwen Plus (2025-01) | Alibaba | 评价 65.3 ±2.2 | — | — | — | Alibaba 发布 2025-01 价格 — 长度 — | ||||
| 36〜42 | Phi-4 | Microsoft | 评价 64.9 ±2.1 | — | — | 128K | Microsoft 发布 2024-12 价格 — 长度 128K | ||||
| 36〜43 | DeepSeek-V3 | DeepSeek | 评价 64.9 ±2.1 | — | — | 128K | DeepSeek 发布 2024-12 价格 — 长度 128K | ||||
| 37〜43 | Grok 2 (2024-12) | xAI | 评价 63.5 ±2.6 | — | — | — | xAI 发布 2024-12 价格 — 长度 — | ||||
| 37〜43 | Qwen2.5 72B (instruct) | Alibaba | 评价 63.2 ±2.1 | — | — | 128K | Alibaba 发布 2024-09 价格 — 长度 128K | ||||
| 37〜43 | Llama 4 Scout | Meta | 评价 62.3 ±2.4 | — | — | 128K | Meta 发布 2025-04 价格 — 长度 128K | ||||
| 39〜43 | Gemini 1.5 Flash 002 | 评价 61.9 ±2.2 | — | — | — | Google 发布 2024-09 价格 — 长度 — | |||||
| 44〜46 | Claude 3.5 Sonnet (2024-10) | Anthropic | 评价 56.9 ±2.2 | — | — | 200K | Anthropic 发布 2024-10 价格 — 长度 200K | ||||
| 44〜47 | Qwen Turbo | Alibaba | 评价 56.2 ±2.2 | — | — | — | Alibaba 发布 2024-11 价格 — 长度 — | ||||
| 44〜47 | Qwen2.5 32B (instruct) | Alibaba | 评价 56.1 ±2.1 | — | — | — | Alibaba 发布 2024-09 价格 — 长度 — | ||||
| 45〜51 | GPT-4o (2024-08) | OpenAI | 评价 53.3 ±2.2 | $2.5 | $10 | 128K | OpenAI 发布 2024-08 价格 $2.5 / $10 长度 128K | ||||
| 47〜53 | GPT-4o mini | OpenAI | 评价 52.6 ±2.2 | — | — | 128K | OpenAI 发布 2024-07 价格 — 长度 128K | ||||
| 47〜53 | Claude 3.5 Sonnet (2024-06) | Anthropic | 评价 51.7 ±2.3 | — | — | 200K | Anthropic 发布 2024-06 价格 — 长度 200K | ||||
| 47〜53 | GPT-4o (2024-05) | OpenAI | 评价 51.0 ±2.2 | $5 | $15 | 128K | OpenAI 发布 2024-05 价格 $5 / $15 长度 128K | ||||
| 47〜53 | Mistral Large (2024-11) | Mistral | 评价 50.3 ±2.2 | — | — | 128K | Mistral 发布 2024-11 价格 — 长度 128K | ||||
| 48〜55 | GPT-4o (2024-11) | OpenAI | 评价 49.8 ±2.2 | $2.5 | $10 | 128K | OpenAI 发布 2024-11 价格 $2.5 / $10 长度 128K | ||||
| 48〜55 | Llama 3.1 405B (instruct) | Meta | 评价 49.8 ±2.4 | — | — | — | Meta 发布 2024-07 价格 — 长度 — | ||||
| 52〜58 | Mistral Small 3.1 | Mistral | 评价 46.8 ±2.4 | — | — | 131.1K | Mistral 发布 2025-03 价格 — 长度 131.1K | ||||
| 52〜58 | GPT-4 Turbo | OpenAI | 评价 46.7 ±2.2 | — | — | — | OpenAI 发布 2024-04 价格 — 长度 — | ||||
| 54〜58 | Claude 3.5 Haiku | Anthropic | 评价 46.4 ±2.3 | — | — | 200K | Anthropic 发布 2024-10 价格 — 长度 200K | ||||
| 54〜59 | Mistral Large 2 | Mistral | 评价 44.8 ±2.1 | — | — | 131.1K | Mistral 发布 2024-07 价格 — 长度 131.1K | ||||
| 54〜59 | Mistral Small 3 | Mistral | 评价 44.8 ±2.1 | — | — | 32.8K | Mistral 发布 2025-01 价格 — 长度 32.8K | ||||
| 57〜62 | Llama 3.1 Tulu 3 70B DPO | Ai2 | 评价 42.7 ±2.0 | — | — | — | Ai2 发布 2024-11 价格 — 长度 — | ||||
| 59〜64 | Llama 3.3 70B (instruct) | Meta | 评价 41.6 ±2.3 | — | — | 131.1K | Meta 发布 2024-12 价格 — 长度 131.1K | ||||
| 59〜64 | Gemini 1.5 Pro 001 | 评价 40.7 ±2.1 | — | — | — | Google 发布 2024-05 价格 — 长度 — | |||||
| 59〜65 | GPT-4 Turbo (preview, 2023-11) | OpenAI | 评价 40.0 ±2.1 | — | — | — | OpenAI 发布 2023-11 价格 — 长度 — | ||||
| 60〜66 | Llama 3.2 90B Vision (instruct) | Meta | 评价 39.4 ±2.0 | — | — | 16K | Meta 发布 2024-09 价格 — 长度 16K | ||||
| 60〜66 | Qwen2 72B (instruct) | Alibaba | 评价 39.1 ±2.0 | — | — | — | Alibaba 发布 2024-06 价格 — 长度 — | ||||
| 62〜67 | Claude 3 Opus | Anthropic | 评价 37.5 ±2.1 | — | — | — | Anthropic 发布 2024-02 价格 — 长度 — | ||||
| 63〜67 | Llama 3.1 70B (instruct) | Meta | 评价 36.7 ±2.0 | — | — | 128K | Meta 发布 2024-07 价格 — 长度 128K | ||||
| 65〜67 | GPT-4 Turbo (preview, 2024-01) | OpenAI | 评价 35.4 ±2.1 | — | — | — | OpenAI 发布 2024-01 价格 — 长度 — | ||||
| 68〜70 | Gemma 2 27B | 评价 27.9 ±1.9 | — | — | 8.2K | Google 发布 2024-06 价格 — 长度 8.2K | |||||
| 68〜73 | WizardLM-2-8x22B | Microsoft | 评价 25.7 ±1.7 | — | — | 65.5K | Microsoft 发布 2024-04 价格 — 长度 65.5K | ||||
| 68〜73 | Yi 1.5 34B (chat) | 01.AI | 评价 25.5 ±1.7 | — | — | — | 01.AI 发布 2024-05 价格 — 长度 — | ||||
| 69〜76 | Gemini 1.5 Flash | 评价 25.1 ±1.9 | — | — | — | Google 发布 2024-05 价格 — 长度 — | |||||
| 69〜77 | Mistral Large (2024-02) | Mistral | 评价 24.5 ±1.7 | — | — | 32K | Mistral 发布 2024-02 价格 — 长度 32K | ||||
| 69〜77 | Open Mixtral 8x22B | Mistral | 评价 24.2 ±1.6 | — | — | — | Mistral 发布 2024-04 价格 — 长度 — | ||||
| 71〜78 | GPT-4 (2023-06) | OpenAI | 评价 23.0 ±1.7 | — | — | — | OpenAI 发布 2023-06 价格 — 长度 — | ||||
| 71〜78 | Llama 3.1 8B (instruct) | Meta | 评价 22.9 ±1.7 | — | — | 128K | Meta 发布 2024-07 价格 — 长度 128K | ||||
| 71〜78 | Hermes-2-Theta-Llama-3-70B | Nous Research | 评价 22.7 ±1.6 | — | — | — | Nous Research 发布 2024-06 价格 — 长度 — | ||||
| 72〜78 | Llama 3 70B (instruct) | Meta | 评价 22.6 ±1.6 | — | — | 8.2K | Meta 发布 2024-04 价格 — 长度 8.2K | ||||
| 74〜78 | Gemma 2 9B | 评价 21.0 ±1.8 | — | — | — | Google 发布 2024-06 价格 — 长度 — | |||||
| 79〜80 | Claude 3 Sonnet | Anthropic | 评价 18.2 ±1.6 | — | — | — | Anthropic 发布 2024-02 价格 — 长度 — | ||||
| 79〜81 | Phi-3 medium (128k, instruct) | Microsoft | 评价 17.6 ±1.4 | — | — | — | Microsoft 发布 2024-04 价格 — 长度 — | ||||
| 80〜84 | GPT-3.5 Turbo (2023-11) | OpenAI | 评价 15.9 ±1.4 | — | — | 16.4K | OpenAI 发布 2023-11 价格 — 长度 16.4K | ||||
| 81〜84 | Ministral 8B | Mistral | 评价 14.9 ±1.5 | — | — | — | Mistral 发布 2024-10 价格 — 长度 — | ||||
| 81〜84 | Claude 3 Haiku | Anthropic | 评价 14.9 ±1.4 | — | — | 200K | Anthropic 发布 2024-03 价格 — 长度 200K | ||||
| 81〜84 | Ministral 3B | Mistral | 评价 14.4 ±1.5 | — | — | — | Mistral 发布 2024-10 价格 — 长度 — | ||||
| 85〜89 | Claude 2.0 | Anthropic | 评价 11.7 ±1.3 | — | — | — | Anthropic 发布 2023-07 价格 — 长度 — | ||||
| 85〜90 | DBRX (instruct) | Databricks | 评价 11.7 ±1.4 | — | — | — | Databricks 发布 2024-03 价格 — 长度 — | ||||
| 85〜89 | GPT-3.5 Turbo (2024-01) | OpenAI | 评价 11.6 ±1.1 | — | — | 16.4K | OpenAI 发布 2024-01 价格 — 长度 16.4K | ||||
| 85〜90 | Gemini 1.0 Pro 001 | 评价 11.2 ±1.2 | — | — | — | Google 发布 2023-12 价格 — 长度 — | |||||
| 85〜91 | Open Mistral Nemo | Mistral | 评价 10.8 ±1.2 | — | — | — | Mistral 发布 2024-07 价格 — 长度 — | ||||
| 87〜91 | Open Mixtral 8x7B | Mistral | 评价 10.0 ±1.0 | — | — | — | Mistral 发布 2023-12 价格 — 长度 — | ||||
| 89〜91 | Mixtral 8x7B (instruct, v0.1) | Mistral | 评价 9.3 ±1.0 | — | — | 32K | Mistral 发布 2023-12 价格 — 长度 32K | ||||
| 92〜93 | DeepSeek LLM 67B (chat) | DeepSeek | 评价 6.4 ±0.8 | — | — | — | DeepSeek 发布 2023-11 价格 — 长度 — | ||||
| 92〜94 | Llama 3 8B (instruct) | Meta | 评价 6.1 ±0.7 | — | — | — | Meta 发布 2024-04 价格 — 长度 — | ||||
| 93〜94 | Yi 34B (chat) | 01.AI | 评价 5.1 ±0.7 | — | — | — | 01.AI 发布 2023-11 价格 — 长度 — | ||||
| 95〜97 | Open Mistral 7B | Mistral | 评价 3.7 ±0.5 | — | — | — | Mistral 发布 2023-09 价格 — 长度 — | ||||
| 95〜97 | Mistral 7B (instruct, v0.3) | Mistral | 评价 3.6 ±0.5 | — | — | 65.5K | Mistral 发布 2024-05 价格 — 长度 65.5K | ||||
| 95〜97 | Llama 2 70B (chat) | Meta | 评价 3.3 ±0.5 | — | — | — | Meta 发布 2023-07 价格 — 长度 — |
最高正确率的变化
2023-06-13发布日期2025-10-15
如何阅读本页
- 要求按规定格式写出答案，数值为正确率。
- 正确率是答对题目的比例。差 1 个百分点相当于 100 题中的 1 题。
- 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
- 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
- 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。
数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-10-24，数据来源