误差范围是“几乎相同”的标记
误差范围是指测得的值的差小到可以用偶然的波动来解释,无法断定高低的状态。在按用途选择的页面上,与较便宜的模型的评价差距在误差范围内的行,会加上 △。带 △ 的行,意思是价格更高而评价几乎相同。评价差不多的话,选表里最便宜的那行就好。
每个基准测试的页面也是同样的思路:给数值附上 ± 的幅度,把差距在误差范围内的模型归入同一个名次范围。名次不是 1 个数而是以幅度显示,就是这个原因。
差距为什么会波动
基准测试的题目只是从所有可能的题目中选出的一部分。题目越少,分数越会随碰巧放进了多少擅长的题目而变动。这与同一个人参加 2 次同类考试分数不同,是同样性质的波动。2024 年一篇讨论评测统计的论文建议,把评测当作实验来处理,2 个模型的差也要附上波动的幅度来表示。
人类评价也一样,票数越少的模型,分数的 ± 幅度越宽。也有减小波动的做法,Epoch AI 就让模型多次解同样的题目再取平均。
不看有无 △,而看差距的大小
误差范围之内与之外,并不是按清楚的界线分开的。差距只是稍稍超出幅度的话,只能算“大概更高”,重新测量也可能互换。反过来,即使在幅度之内,差也不一定是零。差距有幅度的好几倍时,可以看作确实的差距。不要只凭有无 △ 来决定,把差距的大小和价格的差一起看,就能减少选错。