ベンチマークの点数は何を表すか
LLM のベンチマークの点数は、共通の問題のうち解けた割合である。元の正答率なら、70 点は 100 問のうち 70 問ぶんを解いたと読み、2 つのモデルの差が 3 ポイントなら 100 問で 3 問ぶんの違いになる。
ただし、その差がそのまま力の差とは限らない。問題の数には限りがあり、同じモデルでも解くたびに答えが少し変わるので、点数には誤差の範囲がある。差がその範囲に収まるなら、2 つはほとんど同じと読む。
選択問題では、でたらめに答えても当たる分がある点にも気を付ける。4 択なら当て推量でも 4 問に 1 問は当たる。このサイトの課題の値は、当て推量の点が分かるベンチマークではその分を除いて 0〜100 に直してあり、0 は当て推量と同じ、100 は満点である。以下では、誤差の範囲、問題の学習、実施の条件の 3 つを順に説明する。
誤差の範囲はなぜ生まれるか
誤差の範囲が生まれる理由は 2 つある。1 つ目は問題の数である。ベンチマークの問題は、測りたい力を試せる問題全体から、一部を取り出した物にすぎない。評価に誤差の幅を付ける方法を論じた 2024 年の論文がある (Evan Miller)。この論文も、評価の問題を取り出した一部と考え、結果を分析する式を示している。
問題が少ないほど幅は広い。たとえば正答率が 70 % 前後のモデルを 100 問で測ると、偶然で動く幅 (95 % の幅) はおよそ ± 9 ポイントになる。1,000 問なら ± 3 ポイントほどに縮む。問題を 4 倍に増やして、幅はようやく半分になる。
2 つ目は答えの揺れである。LLM は同じ問題にも毎回少し違う答えを書くので、1 回だけ測った点は運に左右される。Epoch AI は、多くのモデルを専門家級の科学の選択問題で 16 回測り、その平均を点にしている (2026 年 10 月時点の説明)。
差の読み方 - ± の幅が重なるならほとんど同じ
このサイトのページは、点数に ± の幅を添えている。2 つの幅が重なる差は誤差の範囲 (ほとんど同じ) で、重ならない差は、偶然だけでは説明しにくい差である。△ の印は、用途のページの価格ごとの表にある。すぐ下の △ の無い行と幅が重なる、価格の高いほうの行に付けている。ページの棒の図では、棒の端が値で、細い線が ± の幅を表す。
ただし、重なるかどうかは白か黒かの境目ではない。重なりが小さいほど差は確からしく、重なりが大きいほど、測り直すと順位が入れ替わりやすい。△ の行と、その下の △ の無い行で迷ったら、安い △ の無い行か、自分の仕事で試して良かったほうを選ぶ。
順位の数字も同じように読む。ページの順位が「2〜5 位」のような範囲で出るのは、幅が重なるモデルどうしに同じ順位の範囲を持たせているからである。2 位と 4 位でも、範囲が重なるなら差はほとんど無い。
ベンチマークの問題を学習してしまう汚染
ベンチマークの問題や、それによく似た文章が学習データに混ざると、モデルは解き方でなく答えを覚えてしまう。これを汚染と呼ぶ。公開された問題は Web 上で引用されるので、学習データに入る機会がある。
算数の文章題のベンチマークに GSM8K がある。2024 年の論文は、これと形も難しさもそろえた新しい 1,000 問 (GSM1k) を作り、多くのモデルを測り直した。すると正答率が最大 8 ポイント下がったモデルがあり、いくつかのモデルの系列には問題を覚えてしまった形跡が見られた。一方で、先端のモデルの多くには、その形跡がほとんど無かった。
汚染はモデルごとに程度が違い、点数だけでは見分けられない。公開から年月が経った問題の点だけで決めず、新しく作られた問題や、問題を公開していないベンチマークの点も合わせて見る。このサイトのベンチマークの一覧では、後継のベンチマークがある物にその名を添えている。
同じベンチマークでも条件で点が変わる
同じ名前のベンチマークでも、誰がどの条件で測ったかで点は変わる。Epoch AI は、指示文や評価の設定の小さな違いで結果が大きく変わることがあると説明している。例に挙げているのは、専門家級の科学の選択問題での、あるモデルの点である。開発元の公表値は 65 % だったが、Epoch AI が 16 回測った平均は 55 % ほどだった (2026 年 10 月時点の説明)。
条件の違いには、指示文の書き方、答えの形式の決め方、考える量の設定 (答える前に考える手順をどれだけ長く取るか) などがある。答えを決まった形で書けずに採点で落ちると、当て推量より低い点になることもある。このサイトの比べる表には、考える量の設定ごとの値も載せている。
このため、点を比べるのは同じ種類の値どうしにする。このサイトのベンチマークの一覧は、2 つの種類を分けて示している。「課題の成績」は、評価をまとめる機関が同じ条件で自分で実行した成績である。「他機関の公表値」は、課題を作った機関などが公表した値を集めた物である。
まとめ - 点数を読む 4 つの問い
ベンチマークの点数は、次の 4 つの問いに答えてから使う。
- 何を測る問題か (自分の用途に近いか)
- 差は誤差の範囲を超えているか
- 問題が学習に混ざっていないか
- 同じ条件で測った点どうしか
4 つとも確かめた差だけが、選ぶ理由になる。数学の力を見たいなら数学と論理のページ、知識の深さなら専門的な質問に答える用途のページで、並べる基準の評価と参考に載せる評価を並べて見るとよい。