データの出典とライセンス

使っているデータ

Epoch AI の Benchmark data のうち、Epoch AI が自分で評価を実行したベンチマークと、他機関の公表値を Epoch AI が集めた表 12 本を使います。

他機関の公表値を集めた表 (一覧の種類は「他機関の公表値」) は、値を元のデータのまま使います。同じモデルを複数の実行の形 (エージェントの作りや設定) で測った行は、値がいちばん良い 1 行にします。誤差の列がある表だけ ± を出します (95 % 信頼区間の列は 1.96 で割って標準誤差に直します)。

Arena の Leaderboard dataset (Hugging Face) のうち、テキストの対話の部門で、回答の長さと書式の影響を除いた値の最新を使います。

日本語と英語の課題: Swallow LLM Leaderboard (Swallow LLM team、CC BY 4.0) の、指示に答える調整を済ませたモデルの課題ごとの値 (0〜⁠1) を 100 倍して % で示します (翻訳 (WMT20) は % でなく点で示します)。元のデータに誤差が無いので ± は出さず、同じ値のモデルだけが同じ順位の範囲に入ります。評価日は元のデータの日付です。

価格 / 一度に読める長さ: Models.dev (MIT) の値を、ここに載っているモデルにだけ結び付けます。価格は開発元自身が公開している値 (入力 / 出力の 100 万トークンあたりの米ドル) で、他の配信元の値は使いません。一度に読める長さは万トークンの単位で示し、割り切れない値は「約」を付けて丸めます。公開日は Epoch AI の値を使い、無いモデルは他の出典の開発元の記録の最も早い日 (年だけ分かる時に置く 1 月 1 日を除く) です。

日本語の面の円は、欧州中央銀行の参考レート (Frankfurter 経由で週に 1 回取り込んだ値) で米ドルから換算した目安です。英語の面は米ドルのままです。

開発元のサービス名は固定の対応表で、取り込みのデータにはありません。

対応の印 (ツール / 画像 / JSON): Models.dev のツール呼び出し (tool_call)、入力の種類 (modalities.input) の画像 (image)、構造化出力 (structured_output) の値です。値の無いモデルは「不明」とし、条件で絞ると外れます。

ライセンスと取得

Epoch AI / Arena / Swallow LLM Leaderboard は CC BY 4.0、Models.dev は MIT で公開されています。週に 1 回、決まった規則で取り込みます。元のデータから消えたベンチマークと区分や、形や行数が想定から外れた元のデータは、前回の値のまま残し、更新が止まった日をページに書きます。

• Arena, Leaderboard dataset (CC BY 4.0)、更新 2026-⁠10-⁠24
• Epoch AI, Benchmark data (CC BY 4.0)、更新 2026-⁠10-⁠24
• Swallow LLM team, Swallow LLM Leaderboard (CC BY 4.0)、更新 2026-⁠10-⁠14
• Models.dev (MIT)、更新 2026-⁠10-⁠24
• Frankfurter, European Central Bank reference rates、更新 2026-⁠10-⁠23

計算のしかた

Arena の人の評価は整数に丸め、区間 (下限〜上限) の半分を ± で添えます。区間が重なるモデル同士は同じ順位の範囲を持ち、上の端は「自分の上限より下限が高いモデルの数 + 1」、下の端は「自分の下限以上の上限を持つモデルの数」です。

Epoch AI の値は平均の点 (mean_score) で、標準誤差 (stderr) を持ちます (平均の点が無い行は最高の点 (Best score) を使い、誤差は出しません)。2 つのモデルの差が 1.96 × √(se1² + se2²) (se は標準誤差) 以内なら同じ順位の範囲に入ります。標準誤差が無い行は他と同じ範囲に入れず、値の大小だけで順位を付けます。

課題の値 = (点 (score) − 当て推量の点 (random_baseline)) ÷ (満点 (score_ceiling) − 当て推量の点) を 0〜⁠100 で示します (当て推量で取れる分を除いた値)。値の名は課題ごとに正答率 / 成功率 / 点のどれかです。当て推量の点と満点が無いベンチマークでは出しません。表と棒の ± は 1.96 × 標準誤差 (95 % の幅) を課題の値の目盛に直した幅です。値と ± は小数 1 桁に丸めます。

重み: オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。Arena のライセンスが非公開 (proprietary) でないモデルを「公開」(重みが公開されていて、自分のサーバーで動かせるモデル)、非公開のモデルを「非公開」とします。ライセンスが無いモデルは Epoch AI の公開の区分、それも無ければ Models.dev の open_weights (開発元の記録) を使い、どちらも無ければ重みの欄は「—」です。

前週比: 取り込みのたびに残す履歴のうち、最新より 6 日以上前で最も新しい 1 本と比べた人の評価の差 (整数) で、その履歴に無いモデルは「新」です。

価格の軸は 2 つです。標準 = (3 × 入力 + 出力) ÷ 4 (業界の慣例の、入力 3 : 出力 1 の加重平均)。入力中心 = 入力の単価 (入力トークンが大半の用途)。どちらも 100 万トークンあたりの米ドルです。

価格ごとのおすすめ (価格ごとにいちばん評価の高いモデル): 用途の価格の軸で安い順に見て、自分より安いどのモデルより並べる基準の評価が高いモデルを、すべて載せます (同じ価格なら評価の高い方)。表は評価の高い順に並べます。このため、払える価格に収まる行のうちいちばん上の行より評価が高いモデルは、その価格までのモデルの中にはありません。最初の行は、価格の分かるモデルで評価がいちばん高いモデルです。△ は、下のいちばん近い △ の無い行と比べて、評価の差が両方の ± の幅の和に収まる (± の幅が重なる) 行に付けます (最後の行と、どちらかに ± が無い行には付けません)。△ の行は、下のいちばん近い △ の無い行より価格が高いのに、評価の差がはっきりしない行です。払える価格に収まる △ の無い行のうち、いちばん上の行を選べば足ります。± のある行どうしでは、△ の無い行は、下のいちばん近い △ の無い行より評価がはっきり高い行です。価格の上限を選んだ時は、表を作り直さず、上限より高い行を隠すだけです (△ の印も変わりません)。価格の分からないモデルは入れません。

図の ● と全モデルの表の印: 価格ごとのおすすめの表に載せたモデルだけに付けます (△ の行も含みます)。評価と価格を混ぜた点や、参考に載せる評価を混ぜた点は作りません。

考える量の設定 (「多い」「最大」など) だけが違う同じモデルは 1 行にまとめ、そのページで値がいちばん高い設定の値を使います。設定ごとの値は比べる表に載せます (PC では名前にマウスを重ねても出ます)。配信元 (同じモデルを配信する他社) だけが違う物も同じモデルとして扱い、一度に読める長さは最も大きい値を使います。公開日は Epoch AI の値を使い、無いモデルは他の出典の開発元の記録の最も早い日 (年だけ分かる時に置く 1 月 1 日を除く) です。サイズ (mini など) が違う物は別のモデルです。日付の違うバージョンの扱いは「モデル名の突き合わせ」の節にあります。

ベンチマークをまたぐ総合点 (複数の評価を混ぜた点) は作りません。

モデル名の突き合わせ

モデル名は小文字にし、空白と _ と . を - に変え、括弧を外して正規化します。Arena の名前と Epoch AI のバージョンの名 (Model version) か表示名の正規化が一致したモデルを同じモデルとして扱い、一致しない物は元のデータごとに別のモデルとして扱います。書き方をそろえると同じになる名もまとめます。同じ月にバージョンが 2 つ以上ある時は名に日まで残し、日付が違えば別のバージョンとして扱います。日付の無い名はそのまま 1 つのバージョンとして扱います。ただし、日付の無い名と日付付きの名が 1 つずつだけで、その日付が日付の無い方の公開の年月と同じなら、同じモデルとして 1 行にします。ページに出す名前は、API の ID に入った日付と英語の月を年月 (同じ月に 2 つ以上ある時は年月日) に直し、綴りを公式の形に寄せ、instruct / バージョン / 量子化 / 年月と、名の末尾にある補足の語 (preview や thinking など) は括弧にまとめます。公開日が分かり、バージョンの区別に要らない名からは年月を外します (公開日の列で分かるため)。名に日付を残すバージョンの公開日は、そのバージョンの公開日が分かる時だけ出し、元のモデルの公開日は使いません。