跳到主要内容

误差范围

2 个值的差落在测量方法的偶然性可能造成的波动幅度之内,无法断定高低的状态

误差范围是指 2 个值的差落在测量方法的偶然性可能造成的波动幅度之内,无法断定哪个更高的状态。在 LLM 的评价中,基准测试的题目数和人类评价的票数都有限,所以同一个模型重新测量,值也会稍有变动。本站的页面给差距在误差范围内的模型加上 △ 的标记,当作几乎相同来处理。这个标记不是及格线,而是差距可靠程度的参考。

误差范围是“几乎相同”的标记

误差范围是指测得的值的差小到可以用偶然的波动来解释,无法断定高低的状态。在按用途选择的页面上,与较便宜的模型的评价差距在误差范围内的行,会加上 △。带 △ 的行,意思是价格更高而评价几乎相同。评价差不多的话,选表里最便宜的那行就好。

每个基准测试的页面也是同样的思路:给数值附上 ± 的幅度,把差距在误差范围内的模型归入同一个名次范围。名次不是 1 个数而是以幅度显示,就是这个原因。

差距为什么会波动

基准测试的题目只是从所有可能的题目中选出的一部分。题目越少,分数越会随碰巧放进了多少擅长的题目而变动。这与同一个人参加 2 次同类考试分数不同,是同样性质的波动。2024 年一篇讨论评测统计的论文建议,把评测当作实验来处理,2 个模型的差也要附上波动的幅度来表示。

人类评价也一样,票数越少的模型,分数的 ± 幅度越宽。也有减小波动的做法,Epoch AI 就让模型多次解同样的题目再取平均。

不看有无 △,而看差距的大小

误差范围之内与之外,并不是按清楚的界线分开的。差距只是稍稍超出幅度的话,只能算“大概更高”,重新测量也可能互换。反过来,即使在幅度之内,差也不一定是零。差距有幅度的好几倍时,可以看作确实的差距。不要只凭有无 △ 来决定,把差距的大小和价格的差一起看,就能减少选错。

这个页面对你有帮助吗?

相关用途