この表の見方
- 上にあるほど評価が高く、「1〜2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
- 評価は、共通の問題のうち解けた問題の割合 (%) です。
- ± は測り直した時に動く幅で、小さな差は気にしなくてよいです。
- 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
- 長さは、一度に読ませられる文章の量 (トークン) です。
1 位の誤差の幅
| 順位 | モデル | 開発元 | 正答率 (%) | 評価日 | 入力 ¥ /100 万 | 出力 ¥ /100 万 | 一度に 読める長さ | 対応 | 重み | 公開日 | 価格と仕様 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1〜2 | GPT-6 Astra | OpenAI | 評価 82.4 ±8.0 | ¥1,600 | ¥7,800 | 105 万 | OpenAI 公開 2026-09 価格 ¥1,600 / ¥7,800 長さ 105 万 | ||||
| 1〜3 | GPT-6.1 Sol | OpenAI | 評価 78.0 ±8.7 | ¥310 | ¥1,600 | 105 万 | OpenAI 公開 2026-09 価格 ¥310 / ¥1,600 長さ 105 万 | ||||
| 2〜8 | Claude Opus 5.5 | Anthropic | 評価 68.1 ±9.8 | ¥630 | ¥3,100 | 100 万 | Anthropic 公開 2026-09 価格 ¥630 / ¥3,100 長さ 100 万 | ||||
| 3〜11 | Claude Sonnet 5.5 | Anthropic | 評価 61.4 ±10.4 | ¥310 | ¥1,600 | 100 万 | Anthropic 公開 2026-09 価格 ¥310 / ¥1,600 長さ 100 万 | ||||
| 3〜12 | Gemini 4 Argon | 評価 60.3 ±10.4 | ¥310 | ¥1,600 | 約 105 万 | Google 公開 2026-09 価格 ¥310 / ¥1,600 長さ 約 105 万 | |||||
| 3〜14 | Claude Opus 5 | Anthropic | 評価 54.8 ±10.7 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-07 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 3〜14 | Claude Fable 5.1 | Anthropic | 評価 53.7 ±10.7 | ¥1,600 | ¥7,800 | 100 万 | Anthropic 公開 2026-09 価格 ¥1,600 / ¥7,800 長さ 100 万 | ||||
| 3〜14 | GPT-5.6 Sol | OpenAI | 評価 53.7 ±10.7 | ¥630 | ¥3,100 | 105 万 | OpenAI 公開 2026-07 価格 ¥630 / ¥3,100 長さ 105 万 | ||||
| 4〜16 | GPT-5.5 | OpenAI | 評価 51.5 ±10.8 | ¥780 | ¥4,700 | 105 万 | OpenAI 公開 2026-04 価格 ¥780 / ¥4,700 長さ 105 万 | ||||
| 4〜16 | GPT-6 Sol | OpenAI | 評価 51.5 ±10.8 | ¥310 | ¥1,600 | 105 万 | OpenAI 公開 2026-09 価格 ¥310 / ¥1,600 長さ 105 万 | ||||
| 4〜16 | Claude Fable 5 | Anthropic | 評価 47.1 ±10.8 | ¥1,600 | ¥7,800 | 100 万 | Anthropic 公開 2026-06 価格 ¥1,600 / ¥7,800 長さ 100 万 | ||||
| 5〜17 | Muse Wonder | Meta | 評価 46.0 ±10.8 | ¥630 | ¥3,100 | 約 105 万 | Meta 公開 2026-10 価格 ¥630 / ¥3,100 長さ 約 105 万 | ||||
| 6〜20 | DeepSeek-V4.1 Flash (2026-10) | DeepSeek | 評価 43.8 ±10.8 | ¥24 | ¥94 | 100 万 | DeepSeek 公開 2026-10 価格 ¥24 / ¥94 長さ 100 万 | ||||
| 6〜25 | Gemini 3.8 Flash | 評価 41.6 ±10.8 | ¥120 | ¥590 | 約 105 万 | Google 公開 2026-09 価格 ¥120 / ¥590 長さ 約 105 万 | |||||
| 9〜30 | DeepSeek-V4.1 Flash | DeepSeek | 評価 37.2 ±10.7 | — | — | 100 万 | DeepSeek 公開 2026-09 価格 — 長さ 100 万 | ||||
| 9〜30 | DeepSeek-V4 Pro (2026-08) | DeepSeek | 評価 37.2 ±10.7 | ¥100 | ¥310 | 100 万 | DeepSeek 公開 2026-08 価格 ¥100 / ¥310 長さ 100 万 | ||||
| 12〜35 | Qwen3.8 Max | Alibaba | 評価 31.7 ±10.5 | ¥310 | ¥940 | 100 万 | Alibaba 公開 2026-08 価格 ¥310 / ¥940 長さ 100 万 | ||||
| 13〜37 | Gemini 3.7 Flash | 評価 30.6 ±10.5 | ¥120 | ¥590 | 約 105 万 | Google 公開 2026-08 価格 ¥120 / ¥590 長さ 約 105 万 | |||||
| 13〜37 | GPT-5.4 | OpenAI | 評価 30.6 ±10.5 | ¥390 | ¥2,400 | 105 万 | OpenAI 公開 2026-03 価格 ¥390 / ¥2,400 長さ 105 万 | ||||
| 13〜37 | Claude Opus 4.8 | Anthropic | 評価 29.5 ±10.4 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-05 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 14〜39 | Claude Sonnet 5 | Anthropic | 評価 28.4 ±10.4 | ¥310 | ¥1,600 | 100 万 | Anthropic 公開 2026-06 価格 ¥310 / ¥1,600 長さ 100 万 | ||||
| 14〜39 | GPT-5.6 Terra | OpenAI | 評価 28.4 ±10.4 | ¥310 | ¥1,900 | 105 万 | OpenAI 公開 2026-07 価格 ¥310 / ¥1,900 長さ 105 万 | ||||
| 14〜41 | DeepSeek-V4 Flash (2026-07) | DeepSeek | 評価 27.3 ±10.3 | — | — | 100 万 | DeepSeek 公開 2026-07 価格 — 長さ 100 万 | ||||
| 14〜41 | Gemini 3.1 Pro (preview) | 評価 27.3 ±10.3 | ¥310 | ¥1,900 | 約 105 万 | Google 公開 2026-02 価格 ¥310 / ¥1,900 長さ 約 105 万 | |||||
| 14〜41 | Grok 4.6 | xAI | 評価 27.3 ±10.3 | ¥310 | ¥940 | 50 万 | xAI 公開 2026-08 価格 ¥310 / ¥940 長さ 50 万 | ||||
| 15〜43 | GLM-5.3 | Z.ai | 評価 26.2 ±10.2 | ¥220 | ¥690 | 100 万 | Z.ai 公開 2026-08 価格 ¥220 / ¥690 長さ 100 万 | ||||
| 15〜45 | Gemini 3.5 Flash | 評価 25.1 ±10.1 | ¥240 | ¥1,400 | 約 105 万 | Google 公開 2026-05 価格 ¥240 / ¥1,400 長さ 約 105 万 | |||||
| 15〜45 | Qwen3.7 Max | Alibaba | 評価 25.1 ±10.1 | ¥390 | ¥1,200 | 100 万 | Alibaba 公開 2026-05 価格 ¥390 / ¥1,200 長さ 100 万 | ||||
| 15〜49 | Claude Haiku 5.5 | Anthropic | 評価 22.9 ±9.9 | ¥16 | ¥78 | 100 万 | Anthropic 公開 2026-10 価格 ¥16 / ¥78 長さ 100 万 | ||||
| 15〜49 | Gemini 3.6 Flash | 評価 22.9 ±9.9 | ¥120 | ¥590 | 約 105 万 | Google 公開 2026-07 価格 ¥120 / ¥590 長さ 約 105 万 | |||||
| 17〜52 | Grok 4.7 | xAI | 評価 21.8 ±9.8 | ¥310 | ¥940 | 50 万 | xAI 公開 2026-09 価格 ¥310 / ¥940 長さ 50 万 | ||||
| 17〜52 | o3 | OpenAI | 評価 21.8 ±9.8 | ¥310 | ¥1,300 | 20 万 | OpenAI 公開 2025-04 価格 ¥310 / ¥1,300 長さ 20 万 | ||||
| 17〜58 | Claude Opus 4.7 | Anthropic | 評価 20.7 ±9.7 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-04 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 17〜60 | Gemini 3 Flash (preview) | 評価 18.5 ±9.5 | ¥78 | ¥470 | 100 万 | Google 公開 2025-12 価格 ¥78 / ¥470 長さ 100 万 | |||||
| 17〜60 | Kimi K3 | Moonshot | 評価 18.5 ±9.5 | ¥470 | ¥2,400 | 約 105 万 | Moonshot 公開 2026-07 価格 ¥470 / ¥2,400 長さ 約 105 万 | ||||
| 18〜60 | Claude Opus 4.6 | Anthropic | 評価 17.4 ±9.4 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-02 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 18〜60 | Muse Spark 1.3 | Meta | 評価 17.4 ±9.6 | ¥200 | ¥670 | 約 105 万 | Meta 公開 2026-09 価格 ¥200 / ¥670 長さ 約 105 万 | ||||
| 21〜60 | GPT-5.2 | OpenAI | 評価 15.2 ±9.1 | ¥270 | ¥2,200 | 40 万 | OpenAI 公開 2025-12 価格 ¥270 / ¥2,200 長さ 40 万 | ||||
| 21〜60 | GPT-5 | OpenAI | 評価 15.2 ±9.1 | ¥200 | ¥1,600 | 40 万 | OpenAI 公開 2025-08 価格 ¥200 / ¥1,600 長さ 40 万 | ||||
| 23〜63 | Claude Opus 4.5 | Anthropic | 評価 14.1 ±9.0 | ¥780 | ¥3,900 | 20 万 | Anthropic 公開 2025-11 価格 ¥780 / ¥3,900 長さ 20 万 | ||||
| 23〜63 | Qwen3.6 35B A3B | Alibaba | 評価 14.1 ±9.0 | ¥59 | ¥350 | 約 26.2 万 | Alibaba 公開 2026-04 価格 ¥59 / ¥350 長さ 約 26.2 万 | ||||
| 26〜64 | Claude Opus 4.1 | Anthropic | 評価 13.0 ±8.8 | — | — | 20 万 | Anthropic 公開 2025-08 価格 — 長さ 20 万 | ||||
| 26〜64 | GPT-5.6 Luna | OpenAI | 評価 13.0 ±8.8 | ¥31 | ¥190 | 105 万 | OpenAI 公開 2026-07 価格 ¥31 / ¥190 長さ 105 万 | ||||
| 27〜64 | NVIDIA Nemotron 3 Ultra | NVIDIA | 評価 11.9 ±8.7 | — | — | 約 13.1 万 | NVIDIA 公開 2026-06 価格 — 長さ 約 13.1 万 | ||||
| 27〜64 | Qwen3.5 Flash | Alibaba | 評価 11.9 ±8.7 | ¥16 | ¥63 | 100 万 | Alibaba 公開 2026-02 価格 ¥16 / ¥63 長さ 100 万 | ||||
| 29〜65 | Gemini 3.5 Flash-Lite | 評価 10.8 ±8.5 | ¥47 | ¥390 | 約 105 万 | Google 公開 2026-07 価格 ¥47 / ¥390 長さ 約 105 万 | |||||
| 29〜65 | GLM-5.2 | Z.ai | 評価 10.8 ±8.5 | ¥220 | ¥690 | 100 万 | Z.ai 公開 2026-06 価格 ¥220 / ¥690 長さ 100 万 | ||||
| 29〜65 | GPT-5.1 | OpenAI | 評価 10.8 ±8.5 | ¥200 | ¥1,600 | 40 万 | OpenAI 公開 2025-11 価格 ¥200 / ¥1,600 長さ 40 万 | ||||
| 29〜65 | Qwen3.6 Max (preview) | Alibaba | 評価 10.8 ±8.5 | ¥200 | ¥1,200 | 24 万 | Alibaba 公開 2026-04 価格 ¥200 / ¥1,200 長さ 24 万 | ||||
| 31〜68 | Kimi K2.6 | Moonshot | 評価 9.7 ±8.3 | ¥150 | ¥630 | 約 26.2 万 | Moonshot 公開 2026-04 価格 ¥150 / ¥630 長さ 約 26.2 万 | ||||
| 31〜68 | Qwen3.5 397B A17B | Alibaba | 評価 9.7 ±8.3 | ¥94 | ¥560 | 約 26.2 万 | Alibaba 公開 2026-02 価格 ¥94 / ¥560 長さ 約 26.2 万 | ||||
| 31〜68 | Qwen3.6 Flash | Alibaba | 評価 9.7 ±8.3 | ¥39 | ¥240 | 100 万 | Alibaba 公開 2026-04 価格 ¥39 / ¥240 長さ 100 万 | ||||
| 33〜70 | Claude Sonnet 4.5 | Anthropic | 評価 8.6 ±8.2 | ¥470 | ¥2,400 | 20 万 | Anthropic 公開 2025-09 価格 ¥470 / ¥2,400 長さ 20 万 | ||||
| 33〜70 | DeepSeek-V4 Pro | DeepSeek | 評価 8.6 ±8.2 | ¥100 | ¥310 | 100 万 | DeepSeek 公開 2026-04 価格 ¥100 / ¥310 長さ 100 万 | ||||
| 33〜70 | Mistral Large 4 | Mistral | 評価 8.6 ±8.2 | ¥210 | ¥660 | 約 52.4 万 | Mistral 公開 2026-10 価格 ¥210 / ¥660 長さ 約 52.4 万 | ||||
| 33〜70 | Qwen3.5 122B A10B | Alibaba | 評価 8.6 ±8.2 | ¥63 | ¥500 | 約 26.2 万 | Alibaba 公開 2026-02 価格 ¥63 / ¥500 長さ 約 26.2 万 | ||||
| 33〜70 | Qwen3.5 Plus | Alibaba | 評価 8.6 ±8.2 | ¥63 | ¥380 | 100 万 | Alibaba 公開 2026-02 価格 ¥63 / ¥380 長さ 100 万 | ||||
| 33〜70 | Qwen3.7 Plus | Alibaba | 評価 8.6 ±8.2 | ¥63 | ¥250 | 100 万 | Alibaba 公開 2026-06 価格 ¥63 / ¥250 長さ 100 万 | ||||
| 34〜70 | Claude Sonnet 4.6 | Anthropic | 評価 7.5 ±8.0 | ¥470 | ¥2,400 | 100 万 | Anthropic 公開 2026-02 価格 ¥470 / ¥2,400 長さ 100 万 | ||||
| 34〜74 | Qwen3.7 Flash | Alibaba | 評価 6.4 ±7.7 | ¥4.7 | ¥20 | 99.1 万 | Alibaba 公開 2026-07 価格 ¥4.7 / ¥20 長さ 99.1 万 | ||||
| 40〜77 | GPT-4 (2023-06) | OpenAI | 評価 3.1 ±7.1 | — | — | — | OpenAI 公開 2023-06 価格 — 長さ — | ||||
| 40〜77 | GPT-4o mini | OpenAI | 評価 3.1 ±7.1 | — | — | 12.8 万 | OpenAI 公開 2024-07 価格 — 長さ 12.8 万 | ||||
| 40〜77 | Qwen3.6 Plus | Alibaba | 評価 3.1 ±7.1 | ¥78 | ¥470 | 100 万 | Alibaba 公開 2026-03 価格 ¥78 / ¥470 長さ 100 万 | ||||
| 42〜77 | GPT-5.4 mini | OpenAI | 評価 2.0 ±6.8 | ¥120 | ¥710 | 40 万 | OpenAI 公開 2026-03 価格 ¥120 / ¥710 長さ 40 万 | ||||
| 46〜77 | GPT-5 mini | OpenAI | 評価 0.9 ±6.5 | ¥39 | ¥310 | 40 万 | OpenAI 公開 2025-08 価格 ¥39 / ¥310 長さ 40 万 | ||||
| 50〜78 | GPT-5.4 nano | OpenAI | 評価 0.0 ±6.2 | ¥31 | ¥200 | 40 万 | OpenAI 公開 2026-03 価格 ¥31 / ¥200 長さ 40 万 | ||||
| 50〜78 | GPT-5 nano | OpenAI | 評価 0.0 ±6.2 | ¥7.8 | ¥63 | 40 万 | OpenAI 公開 2025-08 価格 ¥7.8 / ¥63 長さ 40 万 | ||||
| 50〜78 | Qwen3 235B A22B (thinking) | Alibaba | 評価 0.0 ±6.2 | — | — | 約 26.2 万 | Alibaba 公開 2025-07 価格 — 長さ 約 26.2 万 | ||||
| 53〜79 | GLM-5.3 Flash | Z.ai | 評価 0.0 ±5.9 | ¥24 | ¥78 | 100 万 | Z.ai 公開 2026-08 価格 ¥24 / ¥78 長さ 100 万 | ||||
| 53〜79 | MiniMax-M3 | MiniMax | 評価 0.0 ±5.9 | ¥47 | ¥190 | 約 105 万 | MiniMax 公開 2026-06 価格 ¥47 / ¥190 長さ 約 105 万 | ||||
| 60〜79 | GPT-4.1 mini | OpenAI | 評価 0.0 ±5.5 | — | — | 約 105 万 | OpenAI 公開 2025-04 価格 — 長さ 約 105 万 | ||||
| 60〜79 | GPT-6 Luna | OpenAI | 評価 0.0 ±5.5 | ¥16 | ¥78 | 105 万 | OpenAI 公開 2026-09 価格 ¥16 / ¥78 長さ 105 万 | ||||
| 60〜79 | o3-mini | OpenAI | 評価 0.0 ±5.5 | ¥170 | ¥690 | 20 万 | OpenAI 公開 2025-01 価格 ¥170 / ¥690 長さ 20 万 | ||||
| 60〜79 | Qwen3.6 27B | Alibaba | 評価 0.0 ±5.5 | ¥94 | ¥560 | 約 26.2 万 | Alibaba 公開 2026-04 価格 ¥94 / ¥560 長さ 約 26.2 万 | ||||
| 61〜79 | Inkling Small | Thinking Machines | 評価 0.0 ±5.2 | ¥91 | ¥230 | 約 52.4 万 | Thinking Machines 公開 2026-07 価格 ¥91 / ¥230 長さ 約 52.4 万 | ||||
| 61〜79 | o4-mini | OpenAI | 評価 0.0 ±4.7 | ¥170 | ¥690 | 20 万 | OpenAI 公開 2025-04 価格 ¥170 / ¥690 長さ 20 万 | ||||
| 61〜79 | Qwen3 Max (instruct) | Alibaba | 評価 0.0 ±4.7 | — | — | 約 25.8 万 | Alibaba 公開 2025-09 価格 — 長さ 約 25.8 万 | ||||
| 66〜79 | GPT-3.5 Turbo (2024-01) | OpenAI | 評価 0.0 ±3.7 | — | — | 約 1.6 万 | OpenAI 公開 2024-01 価格 — 長さ 約 1.6 万 | ||||
| 69〜79 | GPT-OSS 120B | OpenAI | 評価 0.0 ±3.0 | — | — | 12.8 万 | OpenAI 公開 2025-08 価格 — 長さ 12.8 万 |
最高の正答率の推移
2023-06-13公開日2026-10-17
このページの読み方
- このゲーム専用の対策を防ぐため、ゲームの名前 / 問題文 / 例の局面は公開されていません。値は正答率です。
- 正答率は解けた問題の割合で、当て推量で取れる分は除いています。
- 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
- オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
- モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
- 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典