課題の成績
家具の組み立ての誤りを見つける課題 (Furniture Assembly)
IKEA の家具を組み立てた写真と公式の組立説明書を見て、組み立てが正しいかを判断し、誤りがあればどの手順の誤りかを答える課題です。
この表の見方
- 上にあるほど評価が高く、「1〜2 位」のように範囲で出るモデルどうしの差は誤差の範囲です。
- 評価は、共通の問題のうち解けた問題の割合 (%) です。
- ± は測り直した時に動く幅で、小さな差は気にしなくてよいです。
- 価格は 100 万トークンあたりの目安で、読ませる分、書かせる分の順です。
- 長さは、一度に読ませられる文章の量 (トークン) です。
1 位の誤差の幅
| 順位 | モデル | 開発元 | 正答率 (%) | 評価日 | 入力 ¥ /100 万 | 出力 ¥ /100 万 | 一度に 読める長さ | 対応 | 重み | 公開日 | 価格と仕様 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1〜6 | Claude Opus 5.5 | Anthropic | 評価 76.2 ±13.2 | ¥630 | ¥3,100 | 100 万 | Anthropic 公開 2026-09 価格 ¥630 / ¥3,100 長さ 100 万 | ||||
| 1〜6 | GPT-6.1 Sol | OpenAI | 評価 71.4 ±13.8 | ¥310 | ¥1,600 | 105 万 | OpenAI 公開 2026-09 価格 ¥310 / ¥1,600 長さ 105 万 | ||||
| 1〜6 | GPT-6 Astra | OpenAI | 評価 71.4 ±13.8 | ¥1,600 | ¥7,800 | 105 万 | OpenAI 公開 2026-09 価格 ¥1,600 / ¥7,800 長さ 105 万 | ||||
| 1〜7 | Claude Sonnet 5.5 | Anthropic | 評価 64.3 ±15.4 | ¥310 | ¥1,600 | 100 万 | Anthropic 公開 2026-09 価格 ¥310 / ¥1,600 長さ 100 万 | ||||
| 1〜9 | Gemini 4 Argon | 評価 60.7 ±15.8 | ¥310 | ¥1,600 | 約 105 万 | Google 公開 2026-09 価格 ¥310 / ¥1,600 長さ 約 105 万 | |||||
| 1〜11 | Claude Fable 5.1 | Anthropic | 評価 57.1 ±16.0 | ¥1,600 | ¥7,800 | 100 万 | Anthropic 公開 2026-09 価格 ¥1,600 / ¥7,800 長さ 100 万 | ||||
| 4〜14 | Claude Opus 5 | Anthropic | 評価 44.0 ±17.3 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-07 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 5〜16 | GPT-6 Sol | OpenAI | 評価 40.5 ±18.0 | ¥310 | ¥1,600 | 105 万 | OpenAI 公開 2026-09 価格 ¥310 / ¥1,600 長さ 105 万 | ||||
| 5〜17 | GPT-5.6 Sol | OpenAI | 評価 38.1 ±17.8 | ¥630 | ¥3,100 | 105 万 | OpenAI 公開 2026-07 価格 ¥630 / ¥3,100 長さ 105 万 | ||||
| 6〜19 | GPT-5.6 Terra | OpenAI | 評価 34.5 ±18.0 | ¥310 | ¥1,900 | 105 万 | OpenAI 公開 2026-07 価格 ¥310 / ¥1,900 長さ 105 万 | ||||
| 6〜19 | Muse Wonder | Meta | 評価 34.5 ±18.0 | ¥630 | ¥3,100 | 約 105 万 | Meta 公開 2026-10 価格 ¥630 / ¥3,100 長さ 約 105 万 | ||||
| 7〜24 | Claude Haiku 5.5 | Anthropic | 評価 25.0 ±18.1 | ¥16 | ¥78 | 100 万 | Anthropic 公開 2026-10 価格 ¥16 / ¥78 長さ 100 万 | ||||
| 7〜26 | GPT-5.5 | OpenAI | 評価 20.2 ±17.9 | ¥780 | ¥4,700 | 105 万 | OpenAI 公開 2026-04 価格 ¥780 / ¥4,700 長さ 105 万 | ||||
| 7〜26 | GPT-6 Luna | OpenAI | 評価 20.2 ±17.9 | ¥16 | ¥78 | 105 万 | OpenAI 公開 2026-09 価格 ¥16 / ¥78 長さ 105 万 | ||||
| 8〜28 | Claude Opus 4.8 | Anthropic | 評価 17.9 ±17.9 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-05 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 8〜28 | GPT-5.6 Luna | OpenAI | 評価 17.9 ±17.9 | ¥31 | ¥190 | 105 万 | OpenAI 公開 2026-07 価格 ¥31 / ¥190 長さ 105 万 | ||||
| 9〜28 | Grok 4.6 | xAI | 評価 14.3 ±17.5 | ¥310 | ¥940 | 50 万 | xAI 公開 2026-08 価格 ¥310 / ¥940 長さ 50 万 | ||||
| 10〜30 | GPT-5.2 | OpenAI | 評価 11.9 ±17.7 | ¥270 | ¥2,200 | 40 万 | OpenAI 公開 2025-12 価格 ¥270 / ¥2,200 長さ 40 万 | ||||
| 10〜31 | GPT-5.4 | OpenAI | 評価 10.7 ±17.5 | ¥390 | ¥2,400 | 105 万 | OpenAI 公開 2026-03 価格 ¥390 / ¥2,400 長さ 105 万 | ||||
| 12〜34 | Claude Fable 5 | Anthropic | 評価 8.3 ±17.3 | ¥1,600 | ¥7,800 | 100 万 | Anthropic 公開 2026-06 価格 ¥1,600 / ¥7,800 長さ 100 万 | ||||
| 12〜34 | DeepSeek-V4.1 Flash | DeepSeek | 評価 6.0 ±16.8 | — | — | 100 万 | DeepSeek 公開 2026-09 価格 — 長さ 100 万 | ||||
| 12〜34 | Kimi K3 | Moonshot | 評価 6.0 ±17.1 | ¥470 | ¥2,400 | 約 105 万 | Moonshot 公開 2026-07 価格 ¥470 / ¥2,400 長さ 約 105 万 | ||||
| 12〜34 | Claude Opus 4.7 | Anthropic | 評価 4.8 ±17.2 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-04 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 12〜34 | Gemini 3.8 Flash | 評価 2.4 ±16.6 | ¥120 | ¥590 | 約 105 万 | Google 公開 2026-09 価格 ¥120 / ¥590 長さ 約 105 万 | |||||
| 13〜34 | Claude Opus 4.5 | Anthropic | 評価 0.0 ±16.4 | ¥780 | ¥3,900 | 20 万 | Anthropic 公開 2025-11 価格 ¥780 / ¥3,900 長さ 20 万 | ||||
| 13〜34 | Claude Opus 4.6 | Anthropic | 評価 0.0 ±16.4 | ¥780 | ¥3,900 | 100 万 | Anthropic 公開 2026-02 価格 ¥780 / ¥3,900 長さ 100 万 | ||||
| 15〜34 | Gemini 3.1 Pro (preview) | 評価 0.0 ±15.8 | ¥310 | ¥1,900 | 約 105 万 | Google 公開 2026-02 価格 ¥310 / ¥1,900 長さ 約 105 万 | |||||
| 15〜34 | Gemini 3.7 Flash | 評価 0.0 ±15.8 | ¥120 | ¥590 | 約 105 万 | Google 公開 2026-08 価格 ¥120 / ¥590 長さ 約 105 万 | |||||
| 18〜34 | Gemini 3.6 Flash | 評価 0.0 ±15.1 | ¥120 | ¥590 | 約 105 万 | Google 公開 2026-07 価格 ¥120 / ¥590 長さ 約 105 万 | |||||
| 18〜34 | Grok 4.5 | xAI | 評価 0.0 ±15.0 | ¥310 | ¥940 | 50 万 | xAI 公開 2026-07 価格 ¥310 / ¥940 長さ 50 万 | ||||
| 19〜34 | Kimi K2.6 | Moonshot | 評価 0.0 ±14.6 | ¥150 | ¥630 | 約 26.2 万 | Moonshot 公開 2026-04 価格 ¥150 / ¥630 長さ 約 26.2 万 | ||||
| 20〜34 | Grok 4.7 | xAI | 評価 0.0 ±14.6 | ¥310 | ¥940 | 50 万 | xAI 公開 2026-09 価格 ¥310 / ¥940 長さ 50 万 | ||||
| 20〜34 | Mistral Large 4 | Mistral | 評価 0.0 ±14.6 | ¥210 | ¥660 | 約 52.4 万 | Mistral 公開 2026-10 価格 ¥210 / ¥660 長さ 約 52.4 万 | ||||
| 20〜34 | Qwen3.8 Max (2026-09) | Alibaba | 評価 0.0 ±14.6 | — | — | 100 万 | Alibaba 公開 2026-09 価格 — 長さ 100 万 |
最高の正答率の推移
2025-11-24公開日2026-10-12
このページの読み方
- 説明書の図と実物を結び付ける空間の推論を見ます。値は正答率です。
- 正答率は解けた問題の割合で、当て推量で取れる分は除いています。
- 対応の列の絵は左から、ツールを使える / 画像を読める / 決まった形 (JSON) で答えられる、です (薄い印は非対応か不明)。
- オープンウェイトは、モデルの中身 (重み) が公開されていて、自分のパソコンやサーバーでも動かせるモデルです。オープンウェイトの印の無いモデルは、開発元のサービス (アプリや API) で使うのが基本です (重みの情報が無いモデルもあります)。
- モデル名の横の ChatGPT などは、その開発元が一般向けに出しているサービスの名です。そのモデルがそのサービスで選べるかは、サービスの側で確かめてください。
- 円は 1 ドル 157 円 (2026 年 10 月 23 日の欧州中央銀行の参考レート) で換算し、上 2 桁に丸めた目安です。
データ: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT)、更新 2026-10-24、データの出典