メインコンテンツへスキップ

他機関の公表値

長い物語の読解 (Fiction.LiveBench)

長い物語を読ませ、登場人物の関係や出来事の流れを問う課題です。

この表の見方

  • 上にあるほど評価が高く、「1〜⁠2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
  • 評価は、課題を作った機関などが公表した値です。
  • 測った条件がモデルごとに違うことがあるので、小さな差は気にしなくてよいです。
  • 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
  • 長さは、一度に読ませられる文章の量 (トークン) です。
順位モデル開発元正答率
(%)
正答率の目盛 0〜⁠100
入力 ¥
/100 万
出力 ¥
/100 万
一度に
読める長さ
対応重み公開日価格と仕様
1 位o3OpenAI評価 100.0¥310¥1,30020 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 20 万
2〜3GPT-5OpenAI評価 96.9¥200¥1,60040 万OpenAI 公開 2025-⁠08 価格 ¥200 / ¥1,600 長さ 40 万
2〜3Grok 4xAI評価 96.9——25.6 万xAI 公開 2025-⁠07 価格 — 長さ 25.6 万
4 位Gemini 2.5 Pro (exp)Google評価 90.6——約 105 万Google 公開 2025-⁠03 価格 — 長さ 約 105 万
5 位o3-proOpenAI評価 88.9——20 万OpenAI 公開 2025-⁠06 価格 — 長さ 20 万
6 位Gemini 2.5 Pro (preview, 2025-⁠05)Google評価 87.5——約 105 万Google 公開 2025-⁠05 価格 — 長さ 約 105 万
7 位Kimi K2.5⁠Moonshot評価 78.1——約 26.2 万Moonshot 公開 2026-⁠01 価格 — 長さ 約 26.2 万
8 位Grok 4 FastxAI評価 75.0——200 万xAI 公開 2025-⁠09 価格 — 長さ 200 万
9 位Gemini 2.5 Pro (preview, 2025-⁠03)Google評価 71.9——約 105 万Google 公開 2025-⁠03 価格 — 長さ 約 105 万
10〜11Qwen3 235B A22B (thinking)⁠Alibaba評価 68.8——約 26.2 万Alibaba 公開 2025-⁠07 価格 — 長さ 約 26.2 万
10〜11Gemini 2.5 Flash (preview, 2025-⁠05)Google評価 68.8——約 105 万Google 公開 2025-⁠05 価格 — 長さ 約 105 万
12〜13ChatGPT-4o (2025-⁠01)OpenAI評価 65.6———OpenAI 公開 2025-⁠01 価格 — 長さ —
12〜13Grok 3 Mini (beta)xAI評価 65.6———xAI 公開 2025-⁠04 価格 — 長さ —
14 位GPT-4.5 (preview)OpenAI評価 63.9———OpenAI 公開 2025-⁠02 価格 — 長さ —
15〜19Qwen3 Next 80B A3B (instruct)⁠Alibaba評価 62.5¥78¥310約 12.9 万Alibaba 公開 2025-⁠09 価格 ¥78 / ¥310 長さ 約 12.9 万
15〜19Gemini 2.0 FlashGoogle評価 62.5———Google 公開 2025-⁠02 価格 — 長さ —
15〜19GPT-4.1OpenAI評価 62.5¥310¥1,300約 105 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 約 105 万
15〜19GPT-5 miniOpenAI評価 62.5¥39¥31040 万OpenAI 公開 2025-⁠08 価格 ¥39 / ¥310 長さ 40 万
15〜19o4-miniOpenAI評価 62.5¥170¥69020 万OpenAI 公開 2025-⁠04 価格 ¥170 / ¥690 長さ 20 万
20 位MiniMax-M1-⁠80k⁠MiniMax評価 59.4——100 万MiniMax 公開 2025-⁠06 価格 — 長さ 100 万
21 位Grok 3 (beta)xAI評価 58.3———xAI 公開 2025-⁠04 価格 — 長さ —
22〜25Claude 3.7 SonnetAnthropic評価 53.1——20 万Anthropic 公開 2025-⁠02 価格 — 長さ 20 万
22〜25DeepSeek-V3.1⁠DeepSeek評価 53.1——12.8 万DeepSeek 公開 2025-⁠08 価格 — 長さ 12.8 万
22〜25Gemini 2.5 Flash (preview, 2025-⁠04)Google評価 53.1——約 105 万Google 公開 2025-⁠04 価格 — 長さ 約 105 万
22〜25o1OpenAI評価 53.1¥2,400¥9,40012.8 万OpenAI 公開 2024-⁠12 価格 ¥2,400 / ¥9,400 長さ 12.8 万
26 位GPT-4.1 miniOpenAI評価 46.9——約 105 万OpenAI 公開 2025-⁠04 価格 — 長さ 約 105 万
27 位Qwen3 235B A22B (instruct)⁠Alibaba評価 44.4——12.8 万Alibaba 公開 2025-⁠07 価格 — 長さ 12.8 万
28 位o3-miniOpenAI評価 43.8¥170¥69020 万OpenAI 公開 2025-⁠01 価格 ¥170 / ¥690 長さ 20 万
29 位Kimi K2 (instruct, 2025-⁠09)⁠Moonshot評価 40.6——約 26.2 万Moonshot 公開 2025-⁠09 価格 — 長さ 約 26.2 万
30〜32Claude Opus 4Anthropic評価 37.5——20 万Anthropic 公開 2025-⁠05 価格 — 長さ 20 万
30〜32Gemini 2.0 Flash (thinking, exp)Google評価 37.5———Google 公開 2024-⁠12 価格 — 長さ —
30〜32Gemini 2.0 Pro (exp)Google評価 37.5——約 210 万Google 公開 2025-⁠02 価格 — 長さ 約 210 万
33〜34Llama 4 Maverick⁠Meta評価 36.4——約 52.4 万Meta 公開 2025-⁠04 価格 — 長さ 約 52.4 万
33〜34Claude Sonnet 4Anthropic評価 36.4——20 万Anthropic 公開 2025-⁠05 価格 — 長さ 20 万
35 位DeepSeek-R1⁠DeepSeek評価 33.3——12.8 万DeepSeek 公開 2025-⁠01 価格 — 長さ 12.8 万
36 位Llama 4 Scout⁠Meta評価 27.3——12.8 万Meta 公開 2025-⁠04 価格 — 長さ 12.8 万
37〜38Gemini 2.5 Flash-Lite (preview, 2025-⁠06)Google評価 21.9——約 105 万Google 公開 2025-⁠06 価格 — 長さ 約 105 万
37〜38GPT-5 nanoOpenAI評価 21.9¥7.8¥6340 万OpenAI 公開 2025-⁠08 価格 ¥7.8 / ¥63 長さ 40 万
39 位GPT-4.1 nanoOpenAI評価 18.8¥16¥63約 105 万OpenAI 公開 2025-⁠04 価格 ¥16 / ¥63 長さ 約 105 万

最高の正答率の推移

2024-12-17公開日2026-01-27
このページの読み方
  • このページの値は、約 12 万トークンの長さで読ませた時の正答率です。課題を作った機関などが公表した値を集めた物です。
  • 正答率は解けた問題の割合です。差 1 ポイントは 100 問で 1 問ぶんです。
  • 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
  • オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
  • モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
  • 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。

データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-⁠10-⁠24、データの出典