問題を学習してしまうこと
ベンチマークの汚染とは、ベンチマークの問題や答えが、モデルの学習データに入ってしまうことを指す。LLM はウェブ上の大量の文章で学ぶため、公開された問題が解説の記事などと一緒に混ざり込むことがある。LiveBench の論文は、汚染を公平な評価の妨げとして広く知られた問題とし、ベンチマークを早く古くする原因だとしている。
汚染は、わざと起こすとは限らない。問題が学習データに入ったかどうかを、外から確かめるのも難しい。
なぜ点が高く出るか
学習で見た問題は、解き方を考えなくても、覚えた答えを書けば正解になる。そのため、汚染されたベンチマークの点は、初めて見る問題を解く力より高く出る。
GSM1k の論文は、小学校の算数のベンチマーク GSM8K と同じ形と難しさの新しい問題を作り、モデルに解かせた。すると正答率が下がり、元の問題を一部覚えている様子のモデルがあった。一方で、多くのモデルは新しい問題でも同じように解けており、点の高さが全部汚染のせいとは言えない。
汚染への対策
汚染の影響を減らす方法は、主に次の 3 つである。
- 新しい問題 (学習データの締め日より後に作った問題で測る)
- 非公開の問題 (問題を公開せず、学習に混ざらないようにする)
- 自分の評価セット (自分の仕事から作った問題で試す)
LiveBench は、新しい情報源から問題を作って頻繁に入れ替え、答えを自動で採点する。ベンチマークの点を読む時は、公開からの年数と問題の入れ替えの有無を見て、自分の問題でも確かめるとよい。