只凭公开的基准测试来决定可以吗
公开的基准测试 (用共同的题目来测量的考试) 用来缩小犹豫的对象，最后用自己工作中的题目来决定。因为公开题目上的分数，并不能直接代表在自己工作中的表现。
理由有 3 个。第一，公开的题目可能已被模型学过。第二，公开的题目是别人选的工作，与自己的文本和形式不同。第三，分数会随测量方法变动。截至 2026 年 10 月，Epoch AI 说明，提示词或评测设置的细微差别有时会使结果大幅变化。
自己的评测集 (由自己的工作做成的题目与正确答案的组合) 可以一并避开这 3 点。做好 1 次，每次重新选模型时都能反复使用。
公开的题目可能已被学过
基准测试的题目和答案大多公开在网络上。从网络收集用于训练模型的文本时，这些题目也可能混进去。记住了题目的模型，即使没有解题能力，分数也会很高。这叫作基准测试的污染。
在 2024 年的一篇论文中，用与常用算术题形式和难度相同的方式重新编写的新题目测量时，部分模型的正确率最多下降了 8 个百分点。如果有模型公开的分数很高，却在自己的题目上表现不佳，就要怀疑是污染还是工作的不同。
自己的评测集没有放到网络上，所以不必担心模型学过。不对公司外部公开评测集，是保持其价值的条件。在公司内部共享时也要限定能看的人，不要把题目文本作为例子放进公司外部的资料或文章。一旦泄露到外部的题目，可能会混进以后模型的训练，所以要换成新的题目。
准备 20〜30 道题和正确答案的形式
有 20〜30 道题就可以开始。只有几道题会被偶然的差距左右，超过 100 道人就评不过来。按平时工作的比例来选，越常委托的工作放得越多。Anthropic 也建议，评测要贴近实际工作的内容，并放入边缘情况。
- 普通的请求占 7〜8 成
- 资料为空、无关或过长的请求占 1〜2 成
- 少量连人都会判断不一的模糊请求
每道题都在表中写下问题文本、提供的资料和正确答案的形式。分类就写正确的标签，提取就写应提取的项目，文章就写合格的条件 (“300 字以内”“不弄错日期”等)。正确答案形式没定下来的题目，评分时会犹豫，分数也会摇摆。
例如把咨询邮件分为“订单”“退货”“故障”“账单”“其他”的工作，就从实际收到的邮件中选出 25 封，删去姓名和编号后写好正确的分类。再放进 2〜3 封连人都难以判断归哪一类的邮件，就能知道模型犹豫时会怎么回答。
由人评分，看差距是否在误差范围内
评分由人一边看正确答案的形式一边进行。隐去模型的名称，打乱回答的顺序后再读。像分类标签和数字这样正确答案唯一确定的题目，只要数一数与正确答案一致的数量就行。
得出分数后，看差距是否在误差范围内。误差范围是指偶然也会产生的程度的差距。如果是 20〜30 道题，几道题的差距偶然也会发生。把同一个问题各问 2 次，就能找出同一个模型回答也会变的题目。比这种波动还小的差距，就看作几乎相同。
让它写文章的题目，分数容易因评分人而变。把评分标准写成 3〜4 行，对所有题目使用同样的标准，可能的话由 2 人评分，并讨论分数有分歧的题目。1 人评分时，隔几天再重评一半，也能看出自己标准的波动。
知道差距很小后，就按评价以外的条件来决定。选便宜的、快的或容易嵌入手头系统的。只有差距明确时，为分数高的一方支付价格差才有意义。
每次更换模型时重做
评测集并不是做完就结束了。在以下时候要重做。
- 开发方推出新版本时
- 所用应用中的模型更换时
- 自己工作的内容或资料的形式变化时
每次重做时，补充 1〜2 道没做好的请求。旧题目不要全部扔掉，保留一半左右。用保留的题目可以比较上次和这次的分数，用新题目可以追踪工作的变化。结果要附上日期和模型名称记在表中。
题目和正确答案汇总在 1 张表中，做成任何人看了都能按同样步骤评分的形式。即使负责人换了，也能用同一把尺子持续比较，还能与半年前的结果并排。
总结 - 用公开的分数筛选，用自己的题目决定
公开的基准测试可能已被学过，也与自己的工作不同。用用途页面的评价筛到 2 个或 3 个，再用自己的评测集来决定。题目 20〜30 道，先写好正确答案的形式，由人隐去名称来评分。差距在误差范围内时，就按价格或速度来选。
如果是分类和提取这样正确答案确定的工作，在分类与提取页面筛选出对象后，用自己题目的一致数来比较会很快。评测集不要公开，每次更换模型时都用同样的题目重新并排比较。