人の評価は見比べた票から作る点
人の評価は、同じ質問に対する 2 つのモデルの答えを人が見比べ、良い方を選んだ票から作る点である。代表は Arena (旧 Chatbot Arena) で、どちらのモデルの答えかを伏せたまま利用者に選ばせ、モデル名は投票の後に明かす。集まった票からは、勝ち負けの記録から強さを推し量る Bradley-Terry モデルという統計の方法で点を出す。
正解のある問題では測りにくい、文章の自然さや説明の分かりやすさまで点に入るのが強みである。Arena はコーディングや創作、日本語の質問など、分野ごとにも点を出している。用途から選ぶページは、この分野ごとの点を用途に合わせて使い分けている。
点の差は選ばれる割合で読む
点そのものより、2 つのモデルの点の差に意味がある。差は「人が見比べた時に上のモデルが選ばれる割合」に直して読める。チェスの Elo レーティングの換算表では、差 50 でおよそ 57 %、差 100 で 64 %、差 200 で 76 % になる。このサイトのページも同じ目盛で差を割合に直しており、差 0 は五分五分である。差 50 なら、下のモデルも 100 回のうち 43 回は選ばれる。
人の好みに引っぱられる限界
人の評価には、人の好みの癖も入る。Arena の運営者による 2024 年の分析では、答えの長さが票をいちばん大きく動かし、見出しや太字などの書式の影響はそれより小さかった。そこで長さと書式の影響を除いた点も作られ、このサイトはその値を使っている。見比べる人が事実の誤りに気づくとは限らないので、正確さが要る用途ではベンチマークの値も併せて見る。