この表の見方
- 上にあるほど評価が高く、「1〜2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
- 評価は、共通の課題をやり遂げた回の割合 (%) です。
- 差が 3 なら 100 回で 3 回ぶんの違いで、± は測り直した時に動く幅です。
- 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
- 長さは、一度に読ませられる文章の量 (トークン) です。
1 位の誤差の幅
| 順位 | モデル | 開発元 | 成功率 (%) | 評価日 | 入力 ¥ /100 万 | 出力 ¥ /100 万 | 一度に 読める長さ | 対応 | 重み | 公開日 | 価格と仕様 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1〜4 | Claude Opus 5.5 | Anthropic | 評価 77.4 ±16.3 | ¥630 | ¥3,100 | 100 万 | Anthropic 公開 2026-09 価格 ¥630 / ¥3,100 長さ 100 万 | ||||
| 1〜5 | Claude Fable 5.1 | Anthropic | 評価 73.3 ±18.0 | ¥1,600 | ¥7,800 | 100 万 | Anthropic 公開 2026-09 価格 ¥1,600 / ¥7,800 長さ 100 万 | ||||
| 1〜5 | Claude Fable 5 | Anthropic | 評価 63.9 ±20.4 | ¥1,600 | ¥7,800 | 100 万 | Anthropic 公開 2026-06 価格 ¥1,600 / ¥7,800 長さ 100 万 | ||||
| 1〜6 | Gemini 4 Argon | 評価 58.9 ±23.0 | ¥310 | ¥1,600 | 約 105 万 | Google 公開 2026-09 価格 ¥310 / ¥1,600 長さ 約 105 万 | |||||
| 2〜7 | GPT-6 Astra | OpenAI | 評価 46.7 ±23.2 | ¥1,600 | ¥7,800 | 105 万 | OpenAI 公開 2026-09 価格 ¥1,600 / ¥7,800 長さ 105 万 | ||||
| 4〜9 | Claude Opus 4.7 | Anthropic | 評価 31.1 ±17.7 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-04 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 5〜10 | GPT-5.6 Sol | OpenAI | 評価 20.0 ±18.1 | ¥630 | ¥3,100 | 105 万 | OpenAI 公開 2026-07 価格 ¥630 / ¥3,100 長さ 105 万 | ||||
| 6〜10 | GPT-5.4 | OpenAI | 評価 15.6 ±15.1 | ¥390 | ¥2,400 | 105 万 | OpenAI 公開 2026-03 価格 ¥390 / ¥2,400 長さ 105 万 | ||||
| 6〜10 | GPT-5.5 | OpenAI | 評価 10.0 ±11.8 | ¥780 | ¥4,700 | 105 万 | OpenAI 公開 2026-04 価格 ¥780 / ¥4,700 長さ 105 万 | ||||
| 7〜10 | Gemini 3.1 Pro (preview) | 評価 8.9 ±8.9 | ¥310 | ¥1,900 | 約 105 万 | Google 公開 2026-02 価格 ¥310 / ¥1,900 長さ 約 105 万 |
最高の成功率の推移
2026-02-19公開日2026-09-30
このページの読み方
- 作り直したプログラムの出力が、伏せたテストを含めて元のプログラムと完全に一致するかで採点し、全テストを通過した課題の割合が値です。
- 成功率は、うまくいった回の割合です。差 1 ポイントは 100 回で 1 回ぶんです。
- 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
- オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
- モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
- 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典