メインコンテンツへスキップ

他機関の公表値

短編小説の採点 (Lech Mazur Writing)

指定された人物 / 物 / 場面などの要素を全部使って短編小説を書かせ、採点役の複数のモデルが出来を採点する課題です。

この表の見方

  • 上にあるほど評価が高く、「1〜⁠2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
  • 評価は、課題を作った機関などが公表した値です。
  • 測った条件がモデルごとに違うことがあるので、小さな差は気にしなくてよいです。
  • 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
  • 長さは、一度に読ませられる文章の量 (トークン) です。
順位モデル開発元点点の目盛 60〜⁠90入力 ¥
/100 万
出力 ¥
/100 万
一度に
読める長さ
対応重み公開日価格と仕様
1 位GPT-5OpenAI評価 86.0¥200¥1,60040 万OpenAI 公開 2025-⁠08 価格 ¥200 / ¥1,600 長さ 40 万
2 位Kimi K2 (instruct)⁠Moonshot評価 85.6——約 13.1 万Moonshot 公開 2025-⁠07 価格 — 長さ 約 13.1 万
3 位Claude Opus 4.1Anthropic評価 84.7——20 万Anthropic 公開 2025-⁠08 価格 — 長さ 20 万
4 位o3-proOpenAI評価 84.4——20 万OpenAI 公開 2025-⁠06 価格 — 長さ 20 万
5 位o3OpenAI評価 83.9¥310¥1,30020 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 20 万
6 位Gemini 2.5 ProGoogle評価 83.8¥200¥1,600100 万Google 公開 2025-⁠06 価格 ¥200 / ¥1,600 長さ 100 万
7 位Claude Opus 4Anthropic評価 83.6——20 万Anthropic 公開 2025-⁠05 価格 — 長さ 20 万
8 位GPT-5 miniOpenAI評価 83.1¥39¥31040 万OpenAI 公開 2025-⁠08 価格 ¥39 / ¥310 長さ 40 万
9〜10DeepSeek-R1⁠DeepSeek評価 83.0——12.8 万DeepSeek 公開 2025-⁠01 価格 — 長さ 12.8 万
9〜10Qwen3 235B A22B⁠Alibaba評価 83.0¥110¥44012.8 万Alibaba 公開 2025-⁠04 価格 ¥110 / ¥440 長さ 12.8 万
11 位Qwen3 235B A22B (thinking)⁠Alibaba評価 82.4——約 26.2 万Alibaba 公開 2025-⁠07 価格 — 長さ 約 26.2 万
12 位DeepSeek-R1 (2025-⁠05)⁠DeepSeek評価 81.9——約 13.1 万DeepSeek 公開 2025-⁠05 価格 — 長さ 約 13.1 万
13 位GPT-4o (2024-⁠11)OpenAI評価 81.8¥390¥1,60012.8 万OpenAI 公開 2024-⁠11 価格 ¥390 / ¥1,600 長さ 12.8 万
14 位Claude Sonnet 4Anthropic評価 81.4——20 万Anthropic 公開 2025-⁠05 価格 — 長さ 20 万
15 位Claude 3.7 SonnetAnthropic評価 81.1——20 万Anthropic 公開 2025-⁠02 価格 — 長さ 20 万
16 位Gemini 2.5 Pro (preview, 2025-⁠05)Google評価 80.9——約 105 万Google 公開 2025-⁠05 価格 — 長さ 約 105 万
17 位Gemini 2.5 Pro (exp)Google評価 80.5——約 105 万Google 公開 2025-⁠03 価格 — 長さ 約 105 万
18 位Claude 3.5 Sonnet (2024-⁠10)Anthropic評価 80.3——20 万Anthropic 公開 2024-⁠10 価格 — 長さ 20 万
19 位QwQ 32B⁠Alibaba評価 80.2——約 3.3 万Alibaba 公開 2025-⁠03 価格 — 長さ 約 3.3 万
20 位Gemma 3 27B⁠Google評価 79.9——12.8 万Google 公開 2025-⁠03 価格 — 長さ 12.8 万
21 位Mistral Medium 3Mistral評価 77.3¥63¥31012.8 万Mistral 公開 2025-⁠05 価格 ¥63 / ¥310 長さ 12.8 万
22 位GPT-OSS 120B⁠OpenAI評価 77.1——12.8 万OpenAI 公開 2025-⁠08 価格 — 長さ 12.8 万
23 位DeepSeek-V3 (2025-⁠03)⁠DeepSeek評価 77.0——約 16.4 万DeepSeek 公開 2025-⁠03 価格 — 長さ 約 16.4 万
24 位Grok 4xAI評価 76.9——25.6 万xAI 公開 2025-⁠07 価格 — 長さ 25.6 万
25 位Gemini 2.5 Flash (preview, 2025-⁠04)Google評価 76.5——約 105 万Google 公開 2025-⁠04 価格 — 長さ 約 105 万
26 位Grok 3 (beta)xAI評価 76.4———xAI 公開 2025-⁠04 価格 — 長さ —
27 位GPT-4.5 (preview)OpenAI評価 75.6———OpenAI 公開 2025-⁠02 価格 — 長さ —
28 位Qwen3 30B A3B⁠Alibaba評価 75.3——12.8 万Alibaba 公開 2025-⁠04 価格 — 長さ 12.8 万
29 位o4-miniOpenAI評価 75.0¥170¥69020 万OpenAI 公開 2025-⁠04 価格 ¥170 / ¥690 長さ 20 万
30 位Gemini 2.0 Flash (thinking, exp)Google評価 73.8———Google 公開 2024-⁠12 価格 — 長さ —
31〜32Claude 3.5 HaikuAnthropic評価 73.5——20 万Anthropic 公開 2024-⁠10 価格 — 長さ 20 万
31〜32Grok 3 Mini (beta)xAI評価 73.5———xAI 公開 2025-⁠04 価格 — 長さ —
33 位GLM-4.5⁠Z.ai評価 73.4¥94¥340約 13.1 万Z.ai 公開 2025-⁠08 価格 ¥94 / ¥340 長さ 約 13.1 万
34 位Qwen2.5 MaxAlibaba評価 72.9———Alibaba 公開 2025-⁠01 価格 — 長さ —
35 位o1OpenAI評価 70.2¥2,400¥9,40012.8 万OpenAI 公開 2024-⁠12 価格 ¥2,400 / ¥9,400 長さ 12.8 万
36 位Mistral Large 2⁠Mistral評価 69.0——約 13.1 万Mistral 公開 2024-⁠07 価格 — 長さ 約 13.1 万
37 位GPT-4o miniOpenAI評価 67.2——12.8 万OpenAI 公開 2024-⁠07 価格 — 長さ 12.8 万
38 位o1-miniOpenAI評価 64.9——12.8 万OpenAI 公開 2024-⁠09 価格 — 長さ 12.8 万
39 位Grok 2 (2024-⁠12)xAI評価 63.6———xAI 公開 2024-⁠12 価格 — 長さ —
40 位Phi-4⁠Microsoft評価 62.6——12.8 万Microsoft 公開 2024-⁠12 価格 — 長さ 12.8 万

最高点の推移

2024-07-18公開日2025-08-07
このページの読み方
  • 値は 10 点満点の平均を 100 点満点に直した点です。課題を作った機関などが公表した値を集めた物です。
  • 採点の平均を 100 点に直した点で、多くは 60〜⁠90 点です。誤差の公表が無いので、1〜⁠2 点の差ははっきりした差ではありません。
  • 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
  • オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
  • モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
  • 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。

データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-⁠10-⁠24、データの出典