メインコンテンツへスキップ

課題の成績

日本語の指示に従う課題 (MIFEvalJa)

「箇条書きで」「指定の語を含めて」のような形の指示を日本語で与え、その指示に従えたかを自動で判定する課題です。

この表の見方

  • 上にあるほど評価が高く、「1〜⁠2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
  • 評価は、共通の課題をやり遂げた回の割合 (%) です。
  • 差が 3 なら 100 回で 3 回ぶんの違いです。
  • 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
  • 長さは、一度に読ませられる文章の量 (トークン) です。
順位モデル開発元成功率
(%)
成功率の目盛 60〜⁠100
評価日日本語
(人の評価)
入力 ¥
/100 万
出力 ¥
/100 万
一度に
読める長さ
対応重み公開日価格と仕様
1 位GPT-5OpenAI評価 90.71431順位 17〜⁠93 位¥200¥1,60040 万OpenAI 公開 2025-⁠08 価格 ¥200 / ¥1,600 長さ 40 万
2 位Gemma 4 31B⁠Google評価 89.8———約 26.2 万Google 公開 2026-⁠04 価格 — 長さ 約 26.2 万
3 位GPT-5.4OpenAI評価 88.11480順位 2〜⁠50 位¥390¥2,400105 万OpenAI 公開 2026-⁠03 価格 ¥390 / ¥2,400 長さ 105 万
4 位Gemma 4 26B A4B⁠Google評価 86.7—¥24¥94約 26.2 万Google 公開 2026-⁠04 価格 ¥24 / ¥94 長さ 約 26.2 万
5 位o3OpenAI評価 85.01424順位 22〜⁠95 位¥310¥1,30020 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 20 万
6 位o3-miniOpenAI評価 84.11315順位 101〜⁠175 位¥170¥69020 万OpenAI 公開 2025-⁠01 価格 ¥170 / ¥690 長さ 20 万
7 位GPT-5 miniOpenAI評価 82.71364順位 63〜⁠146 位¥39¥31040 万OpenAI 公開 2025-⁠08 価格 ¥39 / ¥310 長さ 40 万
8 位NVIDIA Nemotron 3 Super 120B A12B⁠NVIDIA評価 82.3———約 26.2 万NVIDIA 公開 2026-⁠03 価格 — 長さ 約 26.2 万
9 位Qwen3 Next 80B A3B⁠Alibaba評価 81.91293順位 112〜⁠202 位¥78¥940約 13.1 万Alibaba 公開 2025-⁠09 価格 ¥78 / ¥940 長さ 約 13.1 万
10〜11GPT-4.1OpenAI評価 81.01347順位 83〜⁠150 位¥310¥1,300約 105 万OpenAI 公開 2025-⁠04 価格 ¥310 / ¥1,300 長さ 約 105 万
10〜11Qwen3 235B A22B (thinking)⁠Alibaba評価 81.01376順位 49〜⁠142 位——約 26.2 万Alibaba 公開 2025-⁠07 価格 — 長さ 約 26.2 万
12 位Qwen3.5 122B A10B⁠Alibaba評価 77.41361順位 60〜⁠154 位¥63¥500約 26.2 万Alibaba 公開 2026-⁠02 価格 ¥63 / ¥500 長さ 約 26.2 万
13 位GPT-OSS-Swallow-120B-SFT-v0.1Swallow (東京科学大学)評価 74.8——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
14〜15GPT-OSS 120B⁠OpenAI評価 73.51325順位 95〜⁠166 位——12.8 万OpenAI 公開 2025-⁠08 価格 — 長さ 12.8 万
14〜15Qwen3.5 27B⁠Alibaba評価 73.51339順位 71〜⁠166 位¥47¥380約 26.2 万Alibaba 公開 2026-⁠02 価格 ¥47 / ¥380 長さ 約 26.2 万
16 位Qwen3 235B A22B (instruct)⁠Alibaba評価 73.01392順位 44〜⁠119 位——12.8 万Alibaba 公開 2025-⁠07 価格 — 長さ 12.8 万
17 位GPT-OSS 20B⁠OpenAI評価 72.61256順位 140〜⁠216 位——13.1 万OpenAI 公開 2025-⁠08 価格 — 長さ 13.1 万
18 位GPT-OSS-Swallow-120B-RL-v0.1Swallow (東京科学大学)評価 71.7——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
19 位GPT-4o (2024-⁠08)OpenAI評価 70.41292順位 124〜⁠185 位¥390¥1,60012.8 万OpenAI 公開 2024-⁠08 価格 ¥390 / ¥1,600 長さ 12.8 万
20 位Qwen3 Next 80B A3B (instruct)⁠Alibaba評価 68.11369順位 53〜⁠146 位¥78¥310約 12.9 万Alibaba 公開 2025-⁠09 価格 ¥78 / ¥310 長さ 約 12.9 万
21 位LLM-jp-4 8BLLM-jp評価 67.7——————LLM-jp 公開 — 価格 — 長さ —
22 位GPT-OSS-Swallow-20B-RL-v0.1Swallow (東京科学大学)評価 67.3——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
23 位LLM-jp-4 32B A3BLLM-jp評価 66.8——————LLM-jp 公開 — 価格 — 長さ —
24 位Qwen3 30B A3B⁠Alibaba評価 66.41254順位 150〜⁠211 位——12.8 万Alibaba 公開 2025-⁠04 価格 — 長さ 12.8 万
25〜26Qwen3.5 35B A3B⁠Alibaba評価 65.91315順位 93〜⁠183 位¥39¥310約 26.2 万Alibaba 公開 2026-⁠02 価格 ¥39 / ¥310 長さ 約 26.2 万
25〜26Qwen3-Swallow-32B-RL-v0.2Swallow (東京科学大学)評価 65.9——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
27〜28Llama 3.3 70B (instruct)⁠Meta評価 65.01214順位 176〜⁠224 位——約 13.1 万Meta 公開 2024-⁠12 価格 — 長さ 約 13.1 万
27〜28Qwen3-Swallow-32B-SFT-v0.2Swallow (東京科学大学)評価 65.0——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
29 位Gemma 4 E2BGoogle評価 64.6———約 13.1 万——Google 公開 — 価格 — 長さ 約 13.1 万
30〜32Gemma 4 E4BGoogle評価 63.7———約 13.1 万——Google 公開 — 価格 — 長さ 約 13.1 万
30〜32NVIDIA-Nemotron-Nano-9B-v2-JapaneseNVIDIA評価 63.7——————NVIDIA 公開 — 価格 — 長さ —
30〜32Qwen3 32B⁠Alibaba評価 63.7—¥110¥440約 13.1 万Alibaba 公開 2025-⁠04 価格 ¥110 / ¥440 長さ 約 13.1 万
33〜34ELYZA-Shortcut-1.0-Qwen-32BELYZA評価 63.3——————ELYZA 公開 — 価格 — 長さ —
33〜34GPT-OSS-Swallow-20B-SFT-v0.1Swallow (東京科学大学)評価 63.3——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
35〜37ABEJA-QwQ32b-Reasoning-Japanese-v1.0ABEJA評価 61.9——————ABEJA 公開 — 価格 — 長さ —
35〜37Gemma 3 12B⁠Google評価 61.9———13.1 万Google 公開 2025-⁠03 価格 — 長さ 13.1 万
35〜37Qwen3-Swallow-32B-CPT-v0.2Swallow (東京科学大学)評価 61.9——————Swallow (東京科学大学) 公開 — 価格 — 長さ —
38〜40Llama 4 Scout⁠Meta評価 61.11259順位 149〜⁠209 位——12.8 万Meta 公開 2025-⁠04 価格 — 長さ 12.8 万
38〜40Qwen3 14B⁠Alibaba評価 61.1—¥55¥220約 13.1 万Alibaba 公開 2025-⁠04 価格 ¥55 / ¥220 長さ 約 13.1 万
38〜40Qwen3 8B⁠Alibaba評価 61.1—¥28¥110約 13.1 万Alibaba 公開 2025-⁠04 価格 ¥28 / ¥110 長さ 約 13.1 万
このページの読み方
  • 値は従えた割合です。
  • 人の評価は、人が 2 つの答えを見比べて選んだ結果から出す点です (高いほど良い)。
  • 成功率は、うまくいった回の割合です。差 1 ポイントは 100 回で 1 回ぶんです。
  • 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
  • オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
  • モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
  • 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。

データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-⁠10-⁠24、データの出典