用共同题目来测的考试
基准测试是让很多 LLM 解答案固定的题目、比较成绩的共同考试。有让模型解数学题的，有让它修程序缺陷的，有让它回答专家级问题的，按领域分为不同种类。因为能对照正确答案评分，与人比较回答的评价不同，能用同一把尺子给模型排序。
把分数读作“100 道题里解出了几道”，就能有实际的感觉。正确率差 1 个百分点，就是 100 道题里差 1 道。本站任务的数值，先除去靠瞎猜也能得到的部分，再换算成 0〜100。
分数偏离实力的 2 个原因
第 1 个是污染。公开的题目混进训练用的文本后，模型记住的就不是解法而是答案。2024 年的一项研究用仿照算术题集 GSM8K 新做的题目重新测量，有的模型正确率最多下降了 8 个百分点。
第 2 个是测量的条件。即使是同一个基准测试，问法和设置不同，分数也会变。Epoch AI 举出了自己测的值与其他公布值不一致的例子，并把原因归结为评测设置的不同。开发方发布的分数和第三方测的分数，最好不要直接并排比较。
每个基准测试的页面怎么看
本站每个基准测试的页面，给数值附上 ± 的幅度，把差距在误差范围内的模型归入同一个名次范围。不要只凭名次的数字定高低，要先看差距是否超出了幅度。在按用途选择的页面上，基准测试在有的用途里是排序的标准，在其他用途里则作为参考的栏列出。