共通の問題で測る試験
ベンチマークは、答えの決まった問題を多くの LLM に解かせ、成績を比べるための共通の試験である。数学の問題を解かせるもの、プログラムの不具合を直させるもの、専門家級の質問に答えさせるものなど、分野ごとに種類がある。正解と照らして採点できるので、人が答えを見比べる評価と違い、同じ物差しでモデルを並べられる。
点は「100 問のうち何問解けたか」と読むと実感がつかめる。正答率の差 1 ポイントは、100 問で 1 問ぶんである。このサイトの課題の値は、当て推量でも取れる分を除いてから 0〜100 に直している。
点が実力からずれる 2 つの理由
1 つめは汚染である。公開された問題が学習用の文章に紛れ込むと、モデルは解き方でなく答えを覚えてしまう。算数の問題集 GSM8K に似せて新しく作った問題で測り直した 2024 年の研究では、正答率が最大 8 ポイント下がるモデルがあった。
2 つめは測る条件である。同じベンチマークでも、問い方や設定が違えば点は変わる。Epoch AI は、自分で測った値が他の公表値と食い違う例を挙げ、原因を評価の設定の違いだとしている。開発元の発表の点と第三者が測った点は、そのまま並べて比べないほうがよい。
ベンチマークごとのページの読み方
このサイトのベンチマークごとのページは、値に ± の幅を添え、差が誤差の範囲に収まるモデルを同じ順位の範囲にまとめている。順位の数字だけで上下を決めず、差が幅を超えているかを先に見る。用途から選ぶページでは、用途によってベンチマークが並びの基準になり、ほかの用途では参考の列として載る。