メインコンテンツへスキップ
Bench

言語

English日本語中文Español

サイト情報

課題の成績

短い事実の質問に正しく答える力 (SimpleQA Verified)

政治 / 科学技術 / 芸術 / スポーツ / 地理 / 音楽などの短い事実を問う質問に、選択肢なしで答える課題です。

この表の見方

  • 上にあるほど評価が高く、「1〜⁠2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
  • 評価は、共通の問題のうち解けた問題の割合 (%) です。
  • 差が 3 なら 100 問で 3 問ぶんの違いで、± は測り直した時に動く幅です。
  • 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
  • 長さは、一度に読ませられる文章の量 (トークン) です。

1 位の誤差の幅

順位モデル開発元正答率
(%)正答率の目盛 40〜⁠80		評価日入力 ¥
/100 万		出力 ¥
/100 万		一度に
読める長さ		対応重み公開日価格と仕様
1〜5Gemini 4 ArgonGoogle評価 76.0 ±2.6¥310¥1,600約 105 万Google 公開 2026-⁠09 価格 ¥310 / ¥1,600 長さ 約 105 万
1〜5GPT-6 AstraOpenAI評価 75.6 ±2.7¥1,600¥7,800105 万OpenAI 公開 2026-⁠09 価格 ¥1,600 / ¥7,800 長さ 105 万
1〜7GPT-6.1 SolOpenAI評価 73.9 ±2.7¥310¥1,600105 万OpenAI 公開 2026-⁠09 価格 ¥310 / ¥1,600 長さ 105 万
1〜9Gemini 3.1 Pro (preview)Google評価 73.5 ±2.7¥310¥1,900約 105 万Google 公開 2026-⁠02 価格 ¥310 / ¥1,900 長さ 約 105 万
1〜10Claude Opus 5.5Anthropic評価 72.2 ±2.8¥630¥3,100100 万Anthropic 公開 2026-⁠09 価格 ¥630 / ¥3,100 長さ 100 万
3〜11Claude Fable 5.1Anthropic評価 70.8 ±2.8¥1,600¥7,800100 万Anthropic 公開 2026-⁠09 価格 ¥1,600 / ¥7,800 長さ 100 万
3〜11Claude Fable 5Anthropic評価 70.7 ±2.8¥1,600¥7,800100 万Anthropic 公開 2026-⁠06 価格 ¥1,600 / ¥7,800 長さ 100 万
4〜13Gemini 3.8 FlashGoogle評価 69.7 ±2.8¥120¥590約 105 万Google 公開 2026-⁠09 価格 ¥120 / ¥590 長さ 約 105 万
4〜13GPT-5.6 SolOpenAI評価 69.7 ±2.8¥630¥3,100105 万OpenAI 公開 2026-⁠07 価格 ¥630 / ¥3,100 長さ 105 万
5〜13Gemini 3.7 FlashGoogle評価 69.2 ±2.9¥120¥590約 105 万Google 公開 2026-⁠08 価格 ¥120 / ¥590 長さ 約 105 万
6〜14Gemini 3 Flash (preview)Google評価 66.8 ±2.9¥78¥470100 万Google 公開 2025-⁠12 価格 ¥78 / ¥470 長さ 100 万
8〜14Gemini 3.5 FlashGoogle評価 66.2 ±2.9¥240¥1,400約 105 万Google 公開 2026-⁠05 価格 ¥240 / ¥1,400 長さ 約 105 万
8〜14Gemini 3.6 FlashGoogle評価 66.2 ±2.9¥120¥590約 105 万Google 公開 2026-⁠07 価格 ¥120 / ¥590 長さ 約 105 万
11〜17GPT-5.5OpenAI評価 63.0 ±3.0¥780¥4,700105 万OpenAI 公開 2026-⁠04 価格 ¥780 / ¥4,700 長さ 105 万
14〜19GPT-6 SolOpenAI評価 60.7 ±3.0¥310¥1,600105 万OpenAI 公開 2026-⁠09 価格 ¥310 / ¥1,600 長さ 105 万
14〜20Muse Spark 1.2Meta評価 60.3 ±3.0¥200¥670約 105 万Meta 公開 2026-⁠08 価格 ¥200 / ¥670 長さ 約 105 万
14〜21Claude Opus 5Anthropic評価 59.9 ±3.0¥780¥3,900100 万Anthropic 公開 2026-⁠07 価格 ¥780 / ¥3,900 長さ 100 万
15〜21Muse Spark 1.1Meta評価 57.8 ±3.1¥200¥670100 万Meta 公開 2026-⁠07 価格 ¥200 / ¥670 長さ 100 万
15〜23Muse Spark Open⁠Meta評価 56.6 ±3.1——104 万Meta 公開 2026-⁠10 価格 — 長さ 104 万
16〜25Grok 4.7xAI評価 56.0 ±3.1¥310¥94050 万xAI 公開 2026-⁠09 価格 ¥310 / ¥940 長さ 50 万
17〜25Qwen3.7 MaxAlibaba評価 55.8 ±3.1¥390¥1,200100 万Alibaba 公開 2026-⁠05 価格 ¥390 / ¥1,200 長さ 100 万
19〜30Claude Opus 4.8Anthropic評価 53.0 ±3.1¥780¥3,900100 万Anthropic 公開 2026-⁠05 価格 ¥780 / ¥3,900 長さ 100 万
19〜30DeepSeek-V4 Pro (2026-⁠08)⁠DeepSeek評価 52.9 ±3.1¥100¥310100 万DeepSeek 公開 2026-⁠08 価格 ¥100 / ¥310 長さ 100 万
20〜32Qwen3.6 Max (preview)Alibaba評価 52.0 ±3.1¥200¥1,20024 万Alibaba 公開 2026-⁠04 価格 ¥200 / ¥1,200 長さ 24 万
20〜32Claude Opus 4.7Anthropic評価 51.7 ±3.1¥780¥3,900100 万Anthropic 公開 2026-⁠04 価格 ¥780 / ¥3,900 長さ 100 万
22〜37Kimi K3⁠Moonshot評価 50.6 ±3.1¥470¥2,400約 105 万Moonshot 公開 2026-⁠07 価格 ¥470 / ¥2,400 長さ 約 105 万
22〜38GPT-5OpenAI評価 50.1 ±3.1¥200¥1,60040 万OpenAI 公開 2025-⁠08 価格 ¥200 / ¥1,600 長さ 40 万
22〜40o3OpenAI評価 49.4 ±3.1¥310¥1,30020 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 20 万
22〜40Grok 4.6xAI評価 49.3 ±3.1¥310¥94050 万xAI 公開 2026-⁠08 価格 ¥310 / ¥940 長さ 50 万
22〜40Qwen3 Max (instruct)Alibaba評価 48.7 ±3.1——約 25.8 万Alibaba 公開 2025-⁠09 価格 — 長さ 約 25.8 万
24〜41Grok 4.5xAI評価 48.3 ±3.1¥310¥94050 万xAI 公開 2026-⁠07 価格 ¥310 / ¥940 長さ 50 万
24〜41GPT-5.1OpenAI評価 48.0 ±3.1¥200¥1,60040 万OpenAI 公開 2025-⁠11 価格 ¥200 / ¥1,600 長さ 40 万
26〜42Qwen3.8 Max (2026-⁠09)Alibaba評価 47.3 ±3.1——100 万Alibaba 公開 2026-⁠09 価格 — 長さ 100 万
26〜43Claude Opus 4.6Anthropic評価 47.0 ±3.1¥780¥3,900100 万Anthropic 公開 2026-⁠02 価格 ¥780 / ¥3,900 長さ 100 万
26〜43DeepSeek-V4 Pro⁠DeepSeek評価 47.0 ±3.1¥100¥310100 万DeepSeek 公開 2026-⁠04 価格 ¥100 / ¥310 長さ 100 万
26〜44Claude Sonnet 5.5Anthropic評価 46.5 ±3.1¥310¥1,600100 万Anthropic 公開 2026-⁠09 価格 ¥310 / ¥1,600 長さ 100 万
26〜44GPT-5.4 ProOpenAI評価 46.3 ±3.1¥4,700¥28,000105 万OpenAI 公開 2026-⁠03 価格 ¥4,700 / ¥28,000 長さ 105 万
27〜44Qwen3.8 MaxAlibaba評価 45.8 ±3.1¥310¥940100 万Alibaba 公開 2026-⁠08 価格 ¥310 / ¥940 長さ 100 万
28〜45Claude Opus 4.5Anthropic評価 45.7 ±3.1¥780¥3,90020 万Anthropic 公開 2025-⁠11 価格 ¥780 / ¥3,900 長さ 20 万
28〜48GPT-5.4OpenAI評価 45.1 ±3.1¥390¥2,400105 万OpenAI 公開 2026-⁠03 価格 ¥390 / ¥2,400 長さ 105 万

最高の正答率の推移

2024-02-29公開日2026-10-17
このページの読み方
  • Google が元の SimpleQA から似た質問を除き、分野の偏りと正解の誤りを直しました。値は正答率です。
  • 正答率は解けた問題の割合です。差 1 ポイントは 100 問で 1 問ぶんです。
  • 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
  • オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
  • モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
  • 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。

データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-⁠10-⁠24、データの出典