把题目学进去了
基准测试的污染指基准测试的题目或答案混进了模型的训练数据。LLM 用网上的大量文本来训练，所以已公开的题目有时会和讲解的文章等一起混进去。LiveBench 的论文把污染看作妨碍公平评测的众所周知的问题，认为它是让基准测试很快过时的原因。
污染不一定是故意造成的。题目是否混进了训练数据，从外部确认也很难。
为什么分数会偏高
训练中见过的题目，即使不去想解法，只要写出记住的答案就能答对。因此，被污染的基准测试的分数，会高于解答初次见到的题目的能力。
GSM1k 的论文做了与小学算术的基准测试 GSM8K 形式和难度相同的新题目，让模型来解。结果正确率下降，有的模型看起来记住了一部分原题。另一方面，很多模型在新题目上也解得一样好，不能说分数高全是污染造成的。
针对污染的对策
减少污染影响的方法主要有以下 3 种。
- 新的题目 (用在训练数据的截止日期之后做出的题目来测)
- 不公开的题目 (不公开题目，不让它混进训练)
- 自己的评测集 (用从自己的工作中做出的题目来试)
LiveBench 从新的信息来源出题并频繁更换，答案自动评分。看基准测试的分数时，要看公开以来的年数和题目有没有更换，也用自己的题目确认一下。