任务成绩
遵循日语指令的任务 (MIFEvalJa、和英语任务一起测得的值)
用日语给出“用项目符号列出”“包含指定的词”这类关于形式的指令，并自动判定是否遵循了指令的任务，这是与英语任务一起测出的数值。
如何看这张表
- 越靠上评价越高，像“第 1〜2 名”这样以范围显示的模型之间的差在误差范围内。
- 评价是完成共同任务的次数比例 (%)。
- 差 3 就是 100 次中差 3 次。
- 价格是每 100 万 token 的参考，依次为让它读的部分、让它写的部分。
- 长度是一次能让它读的文本量 (token)。
| 排名 | 模型 | 开发方 | 成功率 (%) | 评测日期 | 日语 (人类评价) | 输入 $ /100 万 | 输出 $ /100 万 | 一次能读的 长度 | 支持 | 权重 | 发布日期 | 价格与规格 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Gemma 4 31B | 评价 76.5 | — | — | — | 262.1K | Google 发布 2026-04 价格 — 长度 262.1K | |||||
| 2 | Gemma 4 26B A4B | 评价 72.7 | — | $0.15 | $0.6 | 262.1K | Google 发布 2026-04 价格 $0.15 / $0.6 长度 262.1K | |||||
| 3 | GPT-5 | OpenAI | 评价 72.1 | 1431排名第 17〜93 名 | $1.25 | $10 | 400K | OpenAI 发布 2025-08 价格 $1.25 / $10 长度 400K | ||||
| 4 | o3 | OpenAI | 评价 71.2 | 1424排名第 22〜95 名 | $2 | $8 | 200K | OpenAI 发布 2025-04 价格 $2 / $8 长度 200K | ||||
| 5 | GPT-5 mini | OpenAI | 评价 70.3 | 1364排名第 63〜146 名 | $0.25 | $2 | 400K | OpenAI 发布 2025-08 价格 $0.25 / $2 长度 400K | ||||
| 6 | o3-mini | OpenAI | 评价 67.7 | 1315排名第 101〜175 名 | $1.1 | $4.4 | 200K | OpenAI 发布 2025-01 价格 $1.1 / $4.4 长度 200K | ||||
| 7 | NVIDIA Nemotron 3 Super 120B A12B | NVIDIA | 评价 66.0 | — | — | — | 262.1K | NVIDIA 发布 2026-03 价格 — 长度 262.1K | ||||
| 8 | GPT-5.4 | OpenAI | 评价 65.1 | 1480排名第 2〜50 名 | $2.5 | $15 | 1.05M | OpenAI 发布 2026-03 价格 $2.5 / $15 长度 1.05M | ||||
| 9〜10 | Qwen3.5 122B A10B | Alibaba | 评价 64.5 | 1361排名第 60〜154 名 | $0.4 | $3.2 | 262.1K | Alibaba 发布 2026-02 价格 $0.4 / $3.2 长度 262.1K | ||||
| 9〜10 | Qwen3.5 27B | Alibaba | 评价 64.5 | 1339排名第 71〜166 名 | $0.3 | $2.4 | 262.1K | Alibaba 发布 2026-02 价格 $0.3 / $2.4 长度 262.1K | ||||
| 11 | GPT-OSS 120B | OpenAI | 评价 61.0 | 1325排名第 95〜166 名 | — | — | 128K | OpenAI 发布 2025-08 价格 — 长度 128K | ||||
| 12 | GPT-OSS-Swallow-120B-RL-v0.1 | Swallow (東京科学大学) | 评价 60.5 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 13 | Qwen3.5 35B A3B | Alibaba | 评价 59.9 | 1315排名第 93〜183 名 | $0.25 | $2 | 262.1K | Alibaba 发布 2026-02 价格 $0.25 / $2 长度 262.1K | ||||
| 14 | Qwen3 Next 80B A3B | Alibaba | 评价 59.0 | 1293排名第 112〜202 名 | $0.5 | $6 | 131.1K | Alibaba 发布 2025-09 价格 $0.5 / $6 长度 131.1K | ||||
| 15 | GPT-OSS-Swallow-120B-SFT-v0.1 | Swallow (東京科学大学) | 评价 56.4 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 16 | GPT-OSS 20B | OpenAI | 评价 55.8 | 1256排名第 140〜216 名 | — | — | 131K | OpenAI 发布 2025-08 价格 — 长度 131K | ||||
| 17 | Qwen3-Swallow-32B-RL-v0.2 | Swallow (東京科学大学) | 评价 52.9 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 18 | GPT-OSS-Swallow-20B-RL-v0.1 | Swallow (東京科学大学) | 评价 51.7 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 19 | LLM-jp-4 32B A3B | LLM-jp | 评价 50.9 | — | — | — | — | — | — | LLM-jp 发布 — 价格 — 长度 — | ||
| 20 | Qwen3 235B A22B (thinking) | Alibaba | 评价 49.4 | 1376排名第 49〜142 名 | — | — | 262.1K | Alibaba 发布 2025-07 价格 — 长度 262.1K | ||||
| 21 | GPT-OSS-Swallow-20B-SFT-v0.1 | Swallow (東京科学大学) | 评价 48.8 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 22 | Qwen3.5 9B | Alibaba | 评价 48.3 | — | — | — | 262K | Alibaba 发布 2026-02 价格 — 长度 262K | ||||
| 23 | Qwen3-Swallow-32B-SFT-v0.2 | Swallow (東京科学大学) | 评价 47.7 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 24 | Llama 3.3 70B (instruct) | Meta | 评价 44.5 | 1214排名第 176〜224 名 | — | — | 131.1K | Meta 发布 2024-12 价格 — 长度 131.1K | ||||
| 25 | LLM-jp-4 8B | LLM-jp | 评价 43.9 | — | — | — | — | — | — | LLM-jp 发布 — 价格 — 长度 — | ||
| 26 | Qwen3-Swallow-32B-CPT-v0.2 | Swallow (東京科学大学) | 评价 43.6 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 27 | Qwen3-Swallow-30B-A3B-RL-v0.2 | Swallow (東京科学大学) | 评价 43.3 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 28〜29 | NVIDIA-Nemotron-Nano-9B-v2-Japanese | NVIDIA | 评价 43.0 | — | — | — | — | — | — | NVIDIA 发布 — 价格 — 长度 — | ||
| 28〜29 | Qwen3 235B A22B (instruct) | Alibaba | 评价 43.0 | 1392排名第 44〜119 名 | — | — | 128K | Alibaba 发布 2025-07 价格 — 长度 128K | ||||
| 30 | GPT-4.1 | OpenAI | 评价 41.6 | 1347排名第 83〜150 名 | $2 | $8 | 1.05M | OpenAI 发布 2025-04 价格 $2 / $8 长度 1.05M | ||||
| 31 | Gemma 4 E4B | 评价 41.0 | — | — | — | 131.1K | — | — | Google 发布 — 价格 — 长度 131.1K | |||
| 32〜34 | Qwen3.5 4B | Alibaba | 评价 40.4 | — | — | — | 262.1K | Alibaba 发布 2026-02 价格 — 长度 262.1K | ||||
| 32〜34 | Qwen3-Swallow-30B-A3B-SFT-v0.2 | Swallow (東京科学大学) | 评价 40.4 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 32〜34 | Qwen3-Swallow-8B-RL-v0.2 | Swallow (東京科学大学) | 评价 40.4 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 35 | Qwen3-Swallow-8B-SFT-v0.2 | Swallow (東京科学大学) | 评价 39.5 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 36 | Qwen3-Swallow-30B-A3B-CPT-v0.2 | Swallow (東京科学大学) | 评价 39.0 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 37 | Qwen3 Next 80B A3B (instruct) | Alibaba | 评价 38.4 | 1369排名第 53〜146 名 | $0.5 | $2 | 129K | Alibaba 发布 2025-09 价格 $0.5 / $2 长度 129K | ||||
| 38 | Llama 4 Scout | Meta | 评价 37.2 | 1259排名第 149〜209 名 | — | — | 128K | Meta 发布 2025-04 价格 — 长度 128K | ||||
| 39 | ELYZA-Shortcut-1.0-Qwen-32B | ELYZA | 评价 34.6 | — | — | — | — | — | — | ELYZA 发布 — 价格 — 长度 — | ||
| 40 | Gemma 4 E2B | 评价 34.3 | — | — | — | 131.1K | — | — | Google 发布 — 价格 — 长度 131.1K | |||
| 41 | ABEJA-QwQ32b-Reasoning-Japanese-v1.0 | ABEJA | 评价 34.0 | — | — | — | — | — | — | ABEJA 发布 — 价格 — 长度 — | ||
| 42 | Qwen3 30B A3B | Alibaba | 评价 33.4 | 1254排名第 150〜211 名 | — | — | 128K | Alibaba 发布 2025-04 价格 — 长度 128K | ||||
| 43 | Qwen3 14B | Alibaba | 评价 32.3 | — | $0.35 | $1.4 | 131.1K | Alibaba 发布 2025-04 价格 $0.35 / $1.4 长度 131.1K | ||||
| 44 | GPT-4o (2024-08) | OpenAI | 评价 31.1 | 1292排名第 124〜185 名 | $2.5 | $10 | 128K | OpenAI 发布 2024-08 价格 $2.5 / $10 长度 128K | ||||
| 45 | Qwen3-Swallow-8B-CPT-v0.2 | Swallow (東京科学大学) | 评价 30.8 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 46〜47 | Gemma 3 12B | 评价 29.4 | — | — | — | 131K | Google 发布 2025-03 价格 — 长度 131K | |||||
| 46〜47 | Qwen3 32B | Alibaba | 评价 29.4 | — | $0.7 | $2.8 | 131.1K | Alibaba 发布 2025-04 价格 $0.7 / $2.8 长度 131.1K | ||||
| 48 | Llama 3.1 8B (instruct) | Meta | 评价 29.1 | 1087排名第 232〜251 名 | — | — | 128K | Meta 发布 2024-07 价格 — 长度 128K | ||||
| 49 | ELYZA-Thinking-1.0-Qwen-32B | ELYZA | 评价 28.8 | — | — | — | — | — | — | ELYZA 发布 — 价格 — 长度 — | ||
| 50 | Qwen3 8B | Alibaba | 评价 28.2 | — | $0.18 | $0.7 | 131.1K | Alibaba 发布 2025-04 价格 $0.18 / $0.7 长度 131.1K | ||||
| 51 | QwQ Bakeneko 32B | rinna | 评价 27.3 | — | — | — | — | — | — | rinna 发布 — 价格 — 长度 — | ||
| 52 | Qwen3 4B | Alibaba | 评价 27.0 | — | — | — | — | Alibaba 发布 2025-04 价格 — 长度 — | ||||
| 53 | DeepSeek-R1-Distill-Qwen-32B-Japanese | CyberAgent | 评价 26.7 | — | — | — | — | — | — | CyberAgent 发布 — 价格 — 长度 — | ||
| 54 | Gemma 3 27B | 评价 26.5 | 1308排名第 117〜173 名 | — | — | 128K | Google 发布 2025-03 价格 — 长度 128K | |||||
| 55 | Llama 3.3 Swallow 70B (instruct, v0.4) | Swallow (東京科学大学) | 评价 25.9 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 56 | OLMo 3 32B Think | Ai2 | 评价 25.6 | — | — | — | — | — | Ai2 发布 — 价格 — 长度 — | |||
| 57 | OLMo 3 7B Think | Ai2 | 评价 25.3 | — | — | — | — | — | — | Ai2 发布 — 价格 — 长度 — | ||
| 58 | Gemma 3 4B | 评价 24.7 | — | — | — | 131K | Google 发布 2025-03 价格 — 长度 131K | |||||
| 59 | Qwen3 1.7B | Alibaba | 评价 23.8 | — | — | — | — | Alibaba 发布 2025-04 价格 — 长度 — | ||||
| 60 | Llama 3.1 Nemotron Nano 8B (v1) | NVIDIA | 评价 23.5 | — | — | — | — | — | — | NVIDIA 发布 — 价格 — 长度 — | ||
| 61 | Qwen3.5 2B | Alibaba | 评价 22.1 | — | — | — | 32.8K | Alibaba 发布 2026-02 价格 — 长度 32.8K | ||||
| 62 | Llama 3.1 Swallow 8B (instruct, v0.5) | Swallow (東京科学大学) | 评价 20.6 | — | — | — | — | — | — | Swallow (東京科学大学) 发布 — 价格 — 长度 — | ||
| 63 | Qwen3 0.6B | Alibaba | 评价 18.6 | — | — | — | — | Alibaba 发布 2025-04 价格 — 长度 — | ||||
| 64 | Sarashina2.2 3B (instruct, v0.1) | SB Intuitions | 评价 17.4 | — | — | — | — | — | — | SB Intuitions 发布 — 价格 — 长度 — | ||
| 65 | Qwen3.5 0.8B | Alibaba | 评价 16.6 | — | — | — | 32.8K | Alibaba 发布 2026-02 价格 — 长度 32.8K | ||||
| 66 | LLM-jp-3.1 1.8B (instruct4) | LLM-jp | 评价 13.7 | — | — | — | — | — | — | LLM-jp 发布 — 价格 — 长度 — | ||
| 67 | Gemma 3 1B | 评价 13.4 | — | — | — | — | Google 发布 2025-03 价格 — 长度 — | |||||
| 68 | LLM-jp-3.1 13B (instruct4) | LLM-jp | 评价 13.1 | — | — | — | — | — | — | LLM-jp 发布 — 价格 — 长度 — |
如何阅读本页
- 数值为遵循了指令的比例。用途页面使用的是与日语任务一起测出的数值。
- 人类评价是由人比较 2 个回答并作出选择的结果得出的分数 (越高越好)。
- 成功率是成功次数的比例。差 1 个百分点相当于 100 次中的 1 次。
- 把同一任务和日语任务一起测得的值: 遵循日语指令的任务 (MIFEvalJa)
- 支持一栏的图标从左起依次为：能使用工具 / 能读图片 / 能以固定格式 (JSON) 回答 (浅色标记为不支持或不明)。
- 开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。
- 模型名称旁的 ChatGPT 等，是该开发方面向大众提供的服务名称。该模型能否在那个服务中选用，请在服务一方确认。
数据：Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)，更新于 2026-10-24，数据来源