誤差の範囲は「ほとんど同じ」の印
誤差の範囲とは、測った値の差が偶然の揺れで説明できるほど小さく、上下を言い切れない状態である。用途から選ぶページでは、安い方のモデルとの評価の差が誤差の範囲に収まる行に △ を付けている。△ の行は、価格が高いのに評価はほとんど同じという意味である。同じくらいの評価なら、表の中でいちばん安い行を選べばよい。
ベンチマークごとのページでも考え方は同じで、値に ± の幅を添え、差が誤差の範囲に収まるモデルを同じ順位の範囲にまとめている。順位が 1 つの数でなく幅で出るのはこのためである。
なぜ差が揺れるのか
ベンチマークの問題は、ありうる問題全体から選んだ一部にすぎない。問題の数が少ないほど、たまたま得意な問題が多く入ったかどうかで点が動く。同じ人が同じ種類の試験を 2 回受けて点が違うのと、同じ性質の揺れである。評価の統計を扱った 2024 年の論文は、評価を実験として扱い、2 つのモデルの差にも揺れの幅を添えて示すよう勧めている。
人の評価も同じで、票が少ないモデルほど点の ± の幅は広い。揺れを小さくする工夫もあり、Epoch AI は同じ問題を何度も解かせて平均を取っている。
△ の有無でなく差の大きさで読む
誤差の範囲の内と外は、はっきりした境目で分かれるわけではない。差が幅をわずかに超えただけなら「たぶん上」という程度で、測り直せば入れ替わることもある。逆に、幅の中にあっても差がゼロとは限らない。差が幅の何倍もあれば、確かな差と見てよい。△ の有無だけで決めず、差の大きさと価格の差を一緒に見ると、選び間違いが減る。