メインコンテンツへスキップ
Bench

言語

English日本語中文Español

サイト情報

課題の成績

実在の Python の不具合を直す力 (SWE-Bench verified)

公開の Python リポジトリに出された GitHub の issue を、モデルがコードを調べて直す課題で、開発者が人手で確かめた課題を使います。

この表の見方

  • 上にあるほど評価が高く、「1〜⁠2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
  • 評価は、共通の課題をやり遂げた回の割合 (%) です。
  • 差が 3 なら 100 回で 3 回ぶんの違いで、± は測り直した時に動く幅です。
  • 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
  • 長さは、一度に読ませられる文章の量 (トークン) です。

1 位の誤差の幅

順位モデル開発元成功率
(%)成功率の目盛 0〜⁠100		評価日入力 ¥
/100 万		出力 ¥
/100 万		一度に
読める長さ		対応重み公開日価格と仕様
1〜5Claude Opus 4.7Anthropic評価 83.5 ±3.3¥780¥3,900100 万Anthropic 公開 2026-⁠04 価格 ¥780 / ¥3,900 長さ 100 万
1〜13GPT-5.5OpenAI評価 80.6 ±3.5¥780¥4,700105 万OpenAI 公開 2026-⁠04 価格 ¥780 / ¥4,700 長さ 105 万
1〜16Gemini 3.5 FlashGoogle評価 79.3 ±3.6¥240¥1,400約 105 万Google 公開 2026-⁠05 価格 ¥240 / ¥1,400 長さ 約 105 万
1〜20Claude Opus 4.6Anthropic評価 78.7 ±3.6¥780¥3,900100 万Anthropic 公開 2026-⁠02 価格 ¥780 / ¥3,900 長さ 100 万
1〜20GLM-5.2⁠Z.ai評価 78.7 ±3.7¥220¥690100 万Z.ai 公開 2026-⁠06 価格 ¥220 / ¥690 長さ 100 万
2〜21DeepSeek-V4 Pro⁠DeepSeek評価 77.6 ±3.7¥100¥310100 万DeepSeek 公開 2026-⁠04 価格 ¥100 / ¥310 長さ 100 万
2〜22Qwen3.7 MaxAlibaba評価 77.3 ±3.7¥390¥1,200100 万Alibaba 公開 2026-⁠05 価格 ¥390 / ¥1,200 長さ 100 万
2〜22GPT-5.4OpenAI評価 76.9 ±3.8¥390¥2,400105 万OpenAI 公開 2026-⁠03 価格 ¥390 / ¥2,400 長さ 105 万
2〜23Claude Opus 4.5Anthropic評価 76.7 ±3.8¥780¥3,90020 万Anthropic 公開 2025-⁠11 価格 ¥780 / ¥3,900 長さ 20 万
2〜23Kimi K2.6⁠Moonshot評価 76.7 ±3.8¥150¥630約 26.2 万Moonshot 公開 2026-⁠04 価格 ¥150 / ¥630 長さ 約 26.2 万
2〜23Qwen3.6 Max (preview)Alibaba評価 76.7 ±3.8¥200¥1,20024 万Alibaba 公開 2026-⁠04 価格 ¥200 / ¥1,200 長さ 24 万
2〜24Gemini 3.1 Pro (preview)Google評価 75.6 ±3.8¥310¥1,900約 105 万Google 公開 2026-⁠02 価格 ¥310 / ¥1,900 長さ 約 105 万
2〜24Gemini 3 Flash (preview)Google評価 75.4 ±3.8¥78¥470100 万Google 公開 2025-⁠12 価格 ¥78 / ¥470 長さ 100 万
3〜24Claude Sonnet 4.6Anthropic評価 75.2 ±3.9¥470¥2,400100 万Anthropic 公開 2026-⁠02 価格 ¥470 / ¥2,400 長さ 100 万
3〜24GPT-5.3 CodexOpenAI評価 74.8 ±3.9¥270¥2,20040 万OpenAI 公開 2026-⁠02 価格 ¥270 / ¥2,200 長さ 40 万
3〜24GLM-5.1⁠Z.ai評価 74.2 ±3.9¥220¥69020 万Z.ai 公開 2026-⁠04 価格 ¥220 / ¥690 長さ 20 万
4〜24GPT-5.2OpenAI評価 73.8 ±3.9¥270¥2,20040 万OpenAI 公開 2025-⁠12 価格 ¥270 / ¥2,200 長さ 40 万
4〜24Kimi K2.5⁠Moonshot評価 73.8 ±3.9——約 26.2 万Moonshot 公開 2026-⁠01 価格 — 長さ 約 26.2 万
4〜25GPT-5OpenAI評価 73.6 ±3.9¥200¥1,60040 万OpenAI 公開 2025-⁠08 価格 ¥200 / ¥1,600 長さ 40 万
4〜25Claude Opus 4.1Anthropic評価 73.3 ±3.9——20 万Anthropic 公開 2025-⁠08 価格 — 長さ 20 万
6〜25Gemini 3 Pro (preview)Google評価 72.9 ±4.0——100 万Google 公開 2025-⁠11 価格 — 長さ 100 万
7〜25GLM-5⁠Z.ai評価 72.1 ±4.1¥160¥500約 20.5 万Z.ai 公開 2026-⁠02 価格 ¥160 / ¥500 長さ 約 20.5 万
9〜25Claude Sonnet 4.5Anthropic評価 71.3 ±4.0¥470¥2,40020 万Anthropic 公開 2025-⁠09 価格 ¥470 / ¥2,400 長さ 20 万
12〜25Claude Opus 4Anthropic評価 70.7 ±4.1——20 万Anthropic 公開 2025-⁠05 価格 — 長さ 20 万
19〜27GPT-5.1OpenAI評価 68.0 ±4.2¥200¥1,60040 万OpenAI 公開 2025-⁠11 価格 ¥200 / ¥1,600 長さ 40 万
25〜28GPT-5 miniOpenAI評価 64.7 ±4.3¥39¥31040 万OpenAI 公開 2025-⁠08 価格 ¥39 / ¥310 長さ 40 万
25〜30o3OpenAI評価 62.3 ±4.3¥310¥1,30020 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 20 万
26〜30Claude 3.7 SonnetAnthropic評価 61.0 ±4.4——20 万Anthropic 公開 2025-⁠02 価格 — 長さ 20 万
27〜30Qwen3.6 PlusAlibaba評価 57.9 ±4.4¥78¥470100 万Alibaba 公開 2026-⁠03 価格 ¥78 / ¥470 長さ 100 万
27〜30Gemini 2.5 ProGoogle評価 57.6 ±4.4¥200¥1,600100 万Google 公開 2025-⁠06 価格 ¥200 / ¥1,600 長さ 100 万
31 位GPT-4.1OpenAI評価 48.5 ±4.5¥310¥1,300約 105 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 約 105 万
32 位GPT-4o (2024-⁠11)OpenAI評価 31.0 ±4.1¥390¥1,60012.8 万OpenAI 公開 2024-⁠11 価格 ¥390 / ¥1,600 長さ 12.8 万

最高の成功率の推移

2024-11-20公開日2026-06-16
このページの読み方
  • 修正後のコードでリポジトリの単体テストを走らせて採点し、値は解決できた課題の割合です。
  • 成功率は、うまくいった回の割合です。差 1 ポイントは 100 回で 1 回ぶんです。
  • 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
  • オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
  • モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
  • 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。

データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-⁠10-⁠24、データの出典