他機関の公表値
会社の業務を模した課題 (The Agent Company)
ソフトウェア会社を模した環境で、社内のツールや同僚役との連絡を使いながら、開発 / 事務 / 財務などの業務を終えさせる課題です。
この表の見方
- 上にあるほど評価が高いモデルです。
- 評価は、課題を作った機関などが公表した値です。
- 測った条件がモデルごとに違うことがあるので、小さな差は気にしなくてよいです。
- 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
- 長さは、一度に読ませられる文章の量 (トークン) です。
| 順位 | モデル | 開発元 | 成功率 (%) | 入力 ¥ /100 万 | 出力 ¥ /100 万 | 一度に 読める長さ | 対応 | 重み | 公開日 | 価格と仕様 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 位 | DeepSeek-V3.2 (exp) | DeepSeek | 評価 42.9 | — | — | 約 16.4 万 | DeepSeek 公開 2025-09 価格 — 長さ 約 16.4 万 | |||
| 2 位 | Gemini 2.5 Flash (preview, 2025-09) | 評価 41.1 | — | — | 100 万 | Google 公開 2025-09 価格 — 長さ 100 万 | ||||
| 3 位 | Claude Sonnet 4 | Anthropic | 評価 33.1 | — | — | 20 万 | Anthropic 公開 2025-05 価格 — 長さ 20 万 | |||
| 4 位 | Claude 3.7 Sonnet | Anthropic | 評価 30.9 | — | — | 20 万 | Anthropic 公開 2025-02 価格 — 長さ 20 万 | |||
| 5 位 | Gemini 2.5 Pro (preview, 2025-05) | 評価 30.3 | — | — | 約 105 万 | Google 公開 2025-05 価格 — 長さ 約 105 万 | ||||
| 6 位 | Claude 3.5 Sonnet (2024-10) | Anthropic | 評価 24.0 | — | — | 20 万 | Anthropic 公開 2024-10 価格 — 長さ 20 万 | |||
| 7 位 | Gemini 2.0 Flash | 評価 11.4 | — | — | — | Google 公開 2025-02 価格 — 長さ — | ||||
| 8 位 | GPT-4o (2024-11) | OpenAI | 評価 8.6 | ¥390 | ¥1,600 | 12.8 万 | OpenAI 公開 2024-11 価格 ¥390 / ¥1,600 長さ 12.8 万 | |||
| 9 位 | Llama 3.1 405B (instruct) | Meta | 評価 7.4 | — | — | — | Meta 公開 2024-07 価格 — 長さ — | |||
| 10 位 | Llama 3.1 70B (instruct) | Meta | 評価 6.9 | — | — | 12.8 万 | Meta 公開 2024-07 価格 — 長さ 12.8 万 | |||
| 11 位 | Qwen2.5 72B (instruct) | Alibaba | 評価 5.7 | — | — | 12.8 万 | Alibaba 公開 2024-09 価格 — 長さ 12.8 万 | |||
| 12 位 | Gemini 1.5 Pro 002 | 評価 3.4 | — | — | — | Google 公開 2024-09 価格 — 長さ — | ||||
| 13 位 | Amazon Nova Pro 1.0 | Amazon | 評価 1.7 | — | — | 30 万 | Amazon 公開 2024-12 価格 — 長さ 30 万 | |||
| 14 位 | Qwen2 72B (instruct) | Alibaba | 評価 1.1 | — | — | — | Alibaba 公開 2024-06 価格 — 長さ — |
最高の成功率の推移
2024-06-07公開日2025-09-29
このページの読み方
- 値は最後まで終えられた課題の割合です。課題を作った機関などが公表した値を集めた物です。
- 成功率は、うまくいった回の割合です。差 1 ポイントは 100 回で 1 回ぶんです。
- 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
- オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
- モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
- 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典