数据来源与许可证

使用的数据

使用 Epoch AI 的 Benchmark data 中，由 Epoch AI 自己运行评测的基准测试，以及 Epoch AI 收集的其他机构公布值的 12 张表。

收集其他机构公布值的表 (一览中的类型为“其他机构的公布值”)，直接使用原始数据的值。同一模型以多种运行方式 (智能体的构建或设置) 测量的行，合为值最好的 1 行。只有带误差列的表才显示 ± (95 % 置信区间的列除以 1.96 换算为标准误差)。

使用 Arena 的 Leaderboard dataset (Hugging Face) 中文本对话类别里、去除了回答长度和格式影响的最新值。

日语和英语的任务：把 Swallow LLM Leaderboard (Swallow LLM team，CC BY 4.0) 中已完成指令调优的模型在各任务上的值 (0〜⁠1) 乘以 100，以 % 表示 (翻译 (WMT20) 不用 %，以分数表示)。原始数据没有误差，因此不显示 ±，只有值相同的模型才进入相同的排名范围。评测日期是原始数据的日期。

价格 / 一次能读的长度：只把 Models.dev (MIT) 的值关联到这里收录的模型。价格是开发方自己公开的值 (输入 / 输出每 100 万 token 的美元)，不使用其他提供方的值。一次能读的长度以 K / M token 表示。发布日期使用 Epoch AI 的值，没有的模型取其他来源中开发方记录的最早日期 (只知道年份时放入的 1 月 1 日除外)。

日文页面上的日元，是按欧洲中央银行的参考汇率 (经 Frankfurter 每周导入 1 次的值) 从美元换算的参考值。其他语言的页面保持美元。

开发方的服务名称来自固定的对照表，导入的数据中没有。

支持的标记 (工具 / 图片 / JSON)：是 Models.dev 中工具调用 (tool_call)、输入类型 (modalities.input) 中的图片 (image)、结构化输出 (structured_output) 的值。没有值的模型记为“不明”，按条件筛选时会被排除。

许可证与获取

Epoch AI / Arena / Swallow LLM Leaderboard 以 CC BY 4.0 公开，Models.dev 以 MIT 公开。每周按固定的规则导入 1 次。从原始数据中消失的基准测试和分类，以及形式或行数超出预期的原始数据，会保留上一次的值，并在页面上写明更新停止的日期。

• Arena, Leaderboard dataset (CC BY 4.0)，更新于 2026-⁠10-⁠24
• Epoch AI, Benchmark data (CC BY 4.0)，更新于 2026-⁠10-⁠24
• Swallow LLM team, Swallow LLM Leaderboard (CC BY 4.0)，更新于 2026-⁠10-⁠14
• Models.dev (MIT)，更新于 2026-⁠10-⁠24
• Frankfurter, European Central Bank reference rates，更新于 2026-⁠10-⁠23

计算方法

Arena 的人类评价四舍五入为整数，并以 ± 附上区间 (下限〜上限) 的一半。区间重叠的模型拥有相同的排名范围，上端是“下限高于自己上限的模型数 + 1”，下端是“上限不低于自己下限的模型数”。

Epoch AI 的值是平均分 (mean_score)，带有标准误差 (stderr) (没有平均分的行使用最高分 (Best score)，不显示误差)。两个模型的差在 1.96 × √(se1² + se2²) (se 为标准误差) 以内时，进入相同的排名范围。没有标准误差的行不与其他行放进同一范围，只按值的大小排名。

任务的值 = (分数 (score) − 随机猜测的分数 (random_baseline)) ÷ (满分 (score_ceiling) − 随机猜测的分数)，以 0〜⁠100 表示 (去掉靠随机猜测能得到的部分后的值)。值的名称按任务为正确率 / 成功率 / 分数中的一种。没有随机猜测分数和满分的基准测试不显示。表格和条形中的 ± 是把 1.96 × 标准误差 (95 % 的幅度) 换算到任务值刻度上的幅度。值和 ± 四舍五入到小数点后 1 位。

权重：开放权重是指模型的内容 (权重) 已经公开、在自己的电脑或服务器上也能运行的模型。没有开放权重标记的模型，一般通过开发方的服务 (应用或 API) 使用 (也有没有权重信息的模型)。Arena 的许可证不是非公开 (proprietary) 的模型记为“公开” (权重已公开、能在自己的服务器上运行的模型)，非公开的模型记为“不公开”。没有许可证的模型使用 Epoch AI 的公开分类，如果也没有，则使用 Models.dev 的 open_weights (开发方的记录)，两者都没有时，权重一栏为“—”。

较上周：每次导入时保留的历史记录中，取比最新一次早 6 天以上的最新一份，与之比较的人类评价之差 (整数)，不在那份历史记录中的模型标为“新”。

价格的轴有 2 种。标准 = (3 × 输入 + 输出) ÷ 4 (业界惯例的输入 3 : 输出 1 加权平均)。以输入为主 = 输入的单价 (输入 token 占大部分的用途)。两者都是每 100 万 token 的美元。

按价格推荐 (每个价格下评价最高的模型)：按用途的价格轴从便宜到贵查看，列出所有排序依据的评价高于所有比自己便宜的模型的模型 (价格相同时取评价高的一方)。表按评价从高到低排列。因此，在付得起的价格内的行中，不存在评价比最上面一行更高、且价格不超过该价格的模型。第一行是价格已知的模型中评价最高的模型。△ 标在与下面最近的没有 △ 的行相比，评价差在双方 ± 幅度之和以内 (± 的幅度重叠) 的行上 (最后一行，以及任意一方没有 ± 的行不标)。△ 的行比下面最近的没有 △ 的行价格更高，但评价差并不明确。在付得起的价格内、没有 △ 的行中，选最上面的一行就够了。在带 ± 的行之间，没有 △ 的行评价明显高于下面最近的没有 △ 的行。选择价格上限时，不会重新制表，只是隐藏高于上限的行 (△ 标记也不变)。不收录价格不明的模型。

图中的 ● 和全部模型表中的标记：只标在按价格推荐的表所列的模型上 (包括 △ 的行)。不制作混合评价和价格的分数，也不制作混合参考评测的分数。

只有思考量设置 (“多”“最大”等) 不同的同一模型合为 1 行，使用该页面上值最高的设置的值。各设置的值列在比较表中 (在 PC 上把鼠标移到名称上也会显示)。只有提供方 (提供同一模型的其他公司) 不同的也视为同一模型，一次能读的长度使用最大的值。发布日期使用 Epoch AI 的值，没有的模型取其他来源中开发方记录的最早日期 (只知道年份时放入的 1 月 1 日除外)。尺寸 (mini 等) 不同的是不同模型。日期不同的版本如何处理，见“模型名称的对应”一节。

不制作跨基准测试的综合分 (混合多个评测的分数)。

模型名称的对应

模型名称会转为小写，把空格、_ 和 . 换成 -，去掉括号后进行规范化。Arena 的名称与 Epoch AI 的版本名 (Model version) 或显示名规范化后一致的模型视为同一模型，不一致的按各原始数据分别视为不同模型。写法统一后相同的名称也会合并。同一个月有 2 个以上版本时，名称保留到日，日期不同则视为不同版本。没有日期的名称直接视为 1 个版本。但是，如果没有日期的名称和带日期的名称各只有 1 个，且该日期与没有日期一方的发布年月相同，则视为同一模型合为 1 行。页面上显示的名称会把 API ID 中的日期和英文月份改为年月 (同一个月有 2 个以上时为年月日)，拼写贴近官方形式，instruct / 版本 / 量化 / 年月以及名称末尾的补充词 (preview、thinking 等) 归入括号。已知发布日期且不需要用于区分版本的名称会去掉年月 (因为发布日期一栏可以看出)。名称中保留日期的版本，只在知道该版本发布日期时才显示发布日期，不使用原模型的发布日期。