他機関の公表値
6 つのプログラミング言語でのコード編集 (Aider polyglot)
C++ / Go / Java / JavaScript / Python / Rust の難しい練習問題を、モデルが既存のファイルを書き換えて解く課題です。
この表の見方
- 上にあるほど評価が高く、「1〜2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
- 評価は、課題を作った機関などが公表した値です。
- 測った条件がモデルごとに違うことがあるので、小さな差は気にしなくてよいです。
- 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
- 長さは、一度に読ませられる文章の量 (トークン) です。
| 順位 | モデル | 開発元 | 成功率 (%) | 入力 ¥ /100 万 | 出力 ¥ /100 万 | 一度に 読める長さ | 対応 | 重み | 公開日 | 価格と仕様 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 位 | GPT-5 | OpenAI | 評価 88.0 | ¥200 | ¥1,600 | 40 万 | OpenAI 公開 2025-08 価格 ¥200 / ¥1,600 長さ 40 万 | |||
| 2 位 | o3-pro | OpenAI | 評価 84.9 | — | — | 20 万 | OpenAI 公開 2025-06 価格 — 長さ 20 万 | |||
| 3 位 | Gemini 2.5 Pro (preview, 2025-05) | 評価 83.1 | — | — | 約 105 万 | Google 公開 2025-05 価格 — 長さ 約 105 万 | ||||
| 4 位 | o3 | OpenAI | 評価 81.3 | ¥310 | ¥1,300 | 20 万 | OpenAI 公開 2025-04 価格 ¥310 / ¥1,300 長さ 20 万 | |||
| 5 位 | Grok 4 | xAI | 評価 79.6 | — | — | 25.6 万 | xAI 公開 2025-07 価格 — 長さ 25.6 万 | |||
| 6〜7 | DeepSeek-V3.2 (exp) | DeepSeek | 評価 74.2 | — | — | 約 16.4 万 | DeepSeek 公開 2025-09 価格 — 長さ 約 16.4 万 | |||
| 6〜7 | DeepSeek-V3.2 | DeepSeek | 評価 74.2 | — | — | 12.8 万 | DeepSeek 公開 2025-12 価格 — 長さ 12.8 万 | |||
| 8〜9 | Gemini 2.5 Pro (exp) | 評価 72.9 | — | — | 約 105 万 | Google 公開 2025-03 価格 — 長さ 約 105 万 | ||||
| 8〜9 | Gemini 2.5 Pro (preview, 2025-03) | 評価 72.9 | — | — | 約 105 万 | Google 公開 2025-03 価格 — 長さ 約 105 万 | ||||
| 10〜11 | Claude Opus 4 | Anthropic | 評価 72.0 | — | — | 20 万 | Anthropic 公開 2025-05 価格 — 長さ 20 万 | |||
| 10〜11 | o4-mini | OpenAI | 評価 72.0 | ¥170 | ¥690 | 20 万 | OpenAI 公開 2025-04 価格 ¥170 / ¥690 長さ 20 万 | |||
| 12 位 | DeepSeek-R1 (2025-05) | DeepSeek | 評価 71.4 | — | — | 約 13.1 万 | DeepSeek 公開 2025-05 価格 — 長さ 約 13.1 万 | |||
| 13 位 | DeepSeek Chat (API) | DeepSeek | 評価 70.2 | — | — | 100 万 | DeepSeek 公開 2025-12 価格 — 長さ 100 万 | |||
| 14 位 | Claude 3.7 Sonnet | Anthropic | 評価 64.9 | — | — | 20 万 | Anthropic 公開 2025-02 価格 — 長さ 20 万 | |||
| 15 位 | o1 | OpenAI | 評価 61.7 | ¥2,400 | ¥9,400 | 12.8 万 | OpenAI 公開 2024-12 価格 ¥2,400 / ¥9,400 長さ 12.8 万 | |||
| 16 位 | Claude Sonnet 4 | Anthropic | 評価 61.3 | — | — | 20 万 | Anthropic 公開 2025-05 価格 — 長さ 20 万 | |||
| 17 位 | o3-mini | OpenAI | 評価 60.4 | ¥170 | ¥690 | 20 万 | OpenAI 公開 2025-01 価格 ¥170 / ¥690 長さ 20 万 | |||
| 18〜19 | Qwen3 235B A22B | Alibaba | 評価 59.6 | ¥110 | ¥440 | 12.8 万 | Alibaba 公開 2025-04 価格 ¥110 / ¥440 長さ 12.8 万 | |||
| 18〜19 | Qwen3 235B A22B (instruct) | Alibaba | 評価 59.6 | — | — | 12.8 万 | Alibaba 公開 2025-07 価格 — 長さ 12.8 万 | |||
| 20〜21 | Kimi K2 (instruct) | Moonshot | 評価 59.1 | — | — | 約 13.1 万 | Moonshot 公開 2025-07 価格 — 長さ 約 13.1 万 | |||
| 20〜21 | Kimi K2 (instruct, 2025-09) | Moonshot | 評価 59.1 | — | — | 約 26.2 万 | Moonshot 公開 2025-09 価格 — 長さ 約 26.2 万 | |||
| 22 位 | DeepSeek-R1 | DeepSeek | 評価 56.9 | — | — | 12.8 万 | DeepSeek 公開 2025-01 価格 — 長さ 12.8 万 | |||
| 23〜24 | DeepSeek-V3 (2025-03) | DeepSeek | 評価 55.1 | — | — | 約 16.4 万 | DeepSeek 公開 2025-03 価格 — 長さ 約 16.4 万 | |||
| 23〜24 | Gemini 2.5 Flash (preview, 2025-05) | 評価 55.1 | — | — | 約 105 万 | Google 公開 2025-05 価格 — 長さ 約 105 万 | ||||
| 25 位 | Grok 3 (beta) | xAI | 評価 53.3 | — | — | — | xAI 公開 2025-04 価格 — 長さ — | |||
| 26 位 | GPT-4.1 | OpenAI | 評価 52.4 | ¥310 | ¥1,300 | 約 105 万 | OpenAI 公開 2025-04 価格 ¥310 / ¥1,300 長さ 約 105 万 | |||
| 27 位 | Claude 3.5 Sonnet (2024-10) | Anthropic | 評価 51.6 | — | — | 20 万 | Anthropic 公開 2024-10 価格 — 長さ 20 万 | |||
| 28 位 | Grok 3 Mini (beta) | xAI | 評価 49.3 | — | — | — | xAI 公開 2025-04 価格 — 長さ — | |||
| 29 位 | DeepSeek-V3 | DeepSeek | 評価 48.4 | — | — | 12.8 万 | DeepSeek 公開 2024-12 価格 — 長さ 12.8 万 | |||
| 30 位 | Gemini 2.5 Flash (preview, 2025-04) | 評価 47.1 | — | — | 約 105 万 | Google 公開 2025-04 価格 — 長さ 約 105 万 | ||||
| 31 位 | ChatGPT-4o (2025-03-27) | OpenAI | 評価 45.3 | — | — | — | OpenAI 公開 2025-03 価格 — 長さ — | |||
| 32 位 | GPT-4.5 (preview) | OpenAI | 評価 44.9 | — | — | — | OpenAI 公開 2025-02 価格 — 長さ — | |||
| 33 位 | GPT-OSS 120B | OpenAI | 評価 41.8 | — | — | 12.8 万 | OpenAI 公開 2025-08 価格 — 長さ 12.8 万 | |||
| 34 位 | Qwen3 32B | Alibaba | 評価 40.0 | ¥110 | ¥440 | 約 13.1 万 | Alibaba 公開 2025-04 価格 ¥110 / ¥440 長さ 約 13.1 万 | |||
| 35 位 | Gemini Exp | 評価 38.2 | — | — | 約 210 万 | Google 公開 2024-12 価格 — 長さ 約 210 万 | ||||
| 36 位 | Gemini 2.0 Pro (exp) | 評価 35.6 | — | — | 約 210 万 | Google 公開 2025-02 価格 — 長さ 約 210 万 | ||||
| 37 位 | o1-mini | OpenAI | 評価 32.9 | — | — | 12.8 万 | OpenAI 公開 2024-09 価格 — 長さ 12.8 万 | |||
| 38 位 | GPT-4.1 mini | OpenAI | 評価 32.4 | — | — | 約 105 万 | OpenAI 公開 2025-04 価格 — 長さ 約 105 万 | |||
| 39 位 | Claude 3.5 Haiku | Anthropic | 評価 28.0 | — | — | 20 万 | Anthropic 公開 2024-10 価格 — 長さ 20 万 | |||
| 40 位 | ChatGPT-4o (2025-01) | OpenAI | 評価 27.1 | — | — | — | OpenAI 公開 2025-01 価格 — 長さ — | |||
| 41 位 | GPT-4o (2024-08) | OpenAI | 評価 23.1 | ¥390 | ¥1,600 | 12.8 万 | OpenAI 公開 2024-08 価格 ¥390 / ¥1,600 長さ 12.8 万 | |||
| 42 位 | Gemini 2.0 Flash (thinking, exp) | 評価 22.2 | — | — | — | Google 公開 2024-12 価格 — 長さ — | ||||
| 43 位 | Qwen Max | Alibaba | 評価 21.8 | — | — | 12.8 万 | Alibaba 公開 2025-01 価格 — 長さ 12.8 万 | |||
| 44 位 | QwQ 32B | Alibaba | 評価 20.9 | — | — | 約 3.3 万 | Alibaba 公開 2025-03 価格 — 長さ 約 3.3 万 | |||
| 45 位 | GPT-4o (2024-11) | OpenAI | 評価 18.2 | ¥390 | ¥1,600 | 12.8 万 | OpenAI 公開 2024-11 価格 ¥390 / ¥1,600 長さ 12.8 万 | |||
| 46 位 | DeepSeek-V2.5 | DeepSeek | 評価 17.8 | — | — | — | DeepSeek 公開 2024-09 価格 — 長さ — | |||
| 47 位 | Qwen2.5 Coder 32B (instruct) | Alibaba | 評価 16.4 | — | — | 約 3.3 万 | Alibaba 公開 2024-11 価格 — 長さ 約 3.3 万 | |||
| 48 位 | Llama 4 Maverick | Meta | 評価 15.6 | — | — | 約 52.4 万 | Meta 公開 2025-04 価格 — 長さ 約 52.4 万 | |||
| 49 位 | Yi Lightning | 01.AI | 評価 12.9 | — | — | — | 01.AI 公開 2024-12 価格 — 長さ — | |||
| 50 位 | Command A | Cohere | 評価 12.0 | ¥390 | ¥1,600 | 25.6 万 | Cohere 公開 2025-03 価格 ¥390 / ¥1,600 長さ 25.6 万 | |||
| 51 位 | Codestral | Mistral | 評価 11.1 | — | — | 25.6 万 | Mistral 公開 2025-01 価格 — 長さ 25.6 万 | |||
| 52 位 | OpenHands LM 32B (v0.1) | All Hands AI | 評価 10.2 | — | — | — | — | All Hands AI 公開 2024-03 価格 — 長さ — | ||
| 53 位 | GPT-4.1 nano | OpenAI | 評価 8.9 | ¥16 | ¥63 | 約 105 万 | OpenAI 公開 2025-04 価格 ¥16 / ¥63 長さ 約 105 万 | |||
| 54 位 | Gemma 3 27B | 評価 4.9 | — | — | 12.8 万 | Google 公開 2025-03 価格 — 長さ 12.8 万 | ||||
| 55 位 | GPT-4o mini | OpenAI | 評価 3.6 | — | — | 12.8 万 | OpenAI 公開 2024-07 価格 — 長さ 12.8 万 |
最高の成功率の推移
2024-03-26公開日2025-12-01
このページの読み方
- テストには 2 回まで挑め、値は通った問題の割合です。課題を作った機関などが公表した値を集めた物です。
- 成功率は、うまくいった回の割合です。差 1 ポイントは 100 回で 1 回ぶんです。
- 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
- オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
- モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
- 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典