基准测试的分数表示什么
LLM 的基准测试分数，是共同题目中答对的比例。如果是原始的正确率，70 分就理解为 100 道题中答对了 70 道，2 个模型相差 3 个百分点，就是 100 道题中相差 3 道。
不过，这个差距不一定就是能力的差距。题目的数量有限，同一个模型每次解题的回答也会有些变化，所以分数有误差范围。差距在这个范围内，就把 2 个模型看作几乎相同。
选择题还要注意乱答也会答对的部分。4 选 1 的话，靠猜也能 4 道答对 1 道。本站任务的值，在知道随机猜测分数的基准测试中，会去掉这部分并换算成 0〜100，0 等于随机猜测，100 是满分。下面依次说明误差范围、学过题目和测试条件这 3 点。
误差范围为什么会产生
误差范围的产生有 2 个原因。第 1 个是题目的数量。基准测试的题目，不过是从能考查想测能力的全部题目中取出的一部分。2024 年有一篇论文讨论了给评测加上误差幅度的方法 (Evan Miller)。这篇论文也把评测的题目看作取出的一部分，并给出了分析结果的公式。
题目越少，幅度越宽。例如用 100 道题测量正确率在 70 % 左右的模型，偶然造成的变动幅度 (95 % 的幅度) 约为 ± 9 个百分点。如果是 1,000 道题，就缩小到 ± 3 个百分点左右。题目增加到 4 倍，幅度才减为一半。
第 2 个是回答的波动。LLM 对同一道题每次写的回答也会有些不同，所以只测 1 次的分数会受运气左右。Epoch AI 用专家级的科学选择题把很多模型测了 16 次，取平均作为分数 (截至 2026 年 10 月的说明)。
如何看差距 - ± 的幅度重叠就几乎相同
本站的页面在分数旁附有 ± 的幅度。2 个幅度重叠的差距在误差范围内 (几乎相同)，不重叠的差距则是难以只用偶然来解释的差距。△ 的标记出现在用途页面按价格排列的表中。它标在与紧下方没有 △ 的行幅度重叠、价格较高的那一行上。在页面的条形图中，条的末端是数值，细线表示 ± 的幅度。
不过，是否重叠并不是非黑即白的界线。重叠越小，差距越可信，重叠越大，重新测量时排名越容易互换。在 △ 的行和其下方没有 △ 的行之间犹豫时，选便宜的没有 △ 的行，或在自己工作中试用后更好的一方。
排名的数字也同样理解。页面上的排名以“第 2〜5 名”这样的范围显示，是因为让幅度重叠的模型拥有相同的排名范围。即使是第 2 名和第 4 名，只要范围重叠，差距就几乎没有。
学过基准测试题目的污染
基准测试的题目或与之非常相似的文本混进训练数据后，模型记住的就不是解法而是答案。这叫作污染。公开的题目会在网络上被引用，所以有机会进入训练数据。
算术应用题的基准测试有 GSM8K。2024 年的一篇论文制作了在形式和难度上都与之一致的新的 1,000 道题 (GSM1k)，重新测量了很多模型。结果有的模型正确率最多下降了 8 个百分点，若干模型系列中出现了记住题目的迹象。另一方面，多数前沿模型几乎没有这种迹象。
污染的程度因模型而异，只看分数无法分辨。不要只凭公开已久的题目的分数来决定，也要一并看新出的题目或不公开题目的基准测试的分数。在本站的基准测试一览中，有后继基准测试的会附上其名称。
同一个基准测试，条件不同分数也会变
即使是同名的基准测试，分数也会因由谁、在什么条件下测量而变化。Epoch AI 说明，提示词或评测设置的细微差别有时会使结果大幅变化。它举的例子是某个模型在专家级科学选择题上的分数。开发方公布的值是 65 %，而 Epoch AI 测 16 次的平均约为 55 % (截至 2026 年 10 月的说明)。
条件的差别包括提示词的写法、答案格式的规定方式、思考量的设置 (回答前用多长的步骤来思考) 等。如果没能按规定格式写出答案而在评分中被判错，分数有时会比随机猜测还低。本站的比较表中也列出了按思考量设置分别得出的值。
因此，比较分数要在同一种值之间进行。本站的基准测试一览把 2 种值分开显示。“任务成绩”是汇总评测的机构在相同条件下自己运行得出的成绩。“其他机构公布的值”是汇集了出题机构等公布的值。
总结 - 看分数时的 4 个问题
基准测试的分数，要先回答以下 4 个问题再使用。
- 是测什么的题目 (是否接近自己的用途)
- 差距是否超出了误差范围
- 题目是否混进了训练
- 是否是在相同条件下测出的分数之间的比较
4 点都确认过的差距，才能成为选择的理由。想看数学能力就到数学与逻辑页面，看知识的深度就到回答专业问题的用途页面，把排序依据的评价和作为参考列出的评价并排来看。