Resultados en tareas
Seguir instrucciones dadas en japonés (MIFEvalJa, Medido con las tareas en inglés)
Es el valor medido junto con las tareas en inglés para la tarea que da en japonés instrucciones sobre la forma, como “en una lista con viñetas” o “incluye la palabra indicada”, y comprueba automáticamente si se siguieron.
Cómo leer esta tabla
- Cuanto más arriba, mejor valoración; la diferencia entre modelos que aparecen con un intervalo como «1–2» está dentro del margen de error.
- La valoración es la proporción (%) de intentos en los que se completó la tarea común.
- Una diferencia de 3 equivale a 3 intentos de cada 100.
- El precio es una referencia por cada millón de tokens: primero lo que se le da a leer y después lo que se le pide escribir.
- La longitud es la cantidad de texto que se le puede dar a leer de una vez (tokens).
| Puesto | Modelo | Desarrollador | Tasa de éxito (%) | Fecha de evaluación | Japonés (valoración humana) | Entrada $ /1M | Salida $ /1M | Contexto | Admite | Pesos | Publicación | Precio y características |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 1.º | Gemma 4 31B | Valoración 76.5 | — | — | — | 262.1K | Google Publicación 2026-04 Precio — Longitud 262.1K | |||||
| 2.º | Gemma 4 26B A4B | Valoración 72.7 | — | $0.15 | $0.6 | 262.1K | Google Publicación 2026-04 Precio $0.15 / $0.6 Longitud 262.1K | |||||
| 3.º | GPT-5 | OpenAI | Valoración 72.1 | 1431Puesto 17–93 | $1.25 | $10 | 400K | OpenAI Publicación 2025-08 Precio $1.25 / $10 Longitud 400K | ||||
| 4.º | o3 | OpenAI | Valoración 71.2 | 1424Puesto 22–95 | $2 | $8 | 200K | OpenAI Publicación 2025-04 Precio $2 / $8 Longitud 200K | ||||
| 5.º | GPT-5 mini | OpenAI | Valoración 70.3 | 1364Puesto 63–146 | $0.25 | $2 | 400K | OpenAI Publicación 2025-08 Precio $0.25 / $2 Longitud 400K | ||||
| 6.º | o3-mini | OpenAI | Valoración 67.7 | 1315Puesto 101–175 | $1.1 | $4.4 | 200K | OpenAI Publicación 2025-01 Precio $1.1 / $4.4 Longitud 200K | ||||
| 7.º | NVIDIA Nemotron 3 Super 120B A12B | NVIDIA | Valoración 66.0 | — | — | — | 262.1K | NVIDIA Publicación 2026-03 Precio — Longitud 262.1K | ||||
| 8.º | GPT-5.4 | OpenAI | Valoración 65.1 | 1480Puesto 2–50 | $2.5 | $15 | 1.05M | OpenAI Publicación 2026-03 Precio $2.5 / $15 Longitud 1.05M | ||||
| 9–10.º | Qwen3.5 122B A10B | Alibaba | Valoración 64.5 | 1361Puesto 60–154 | $0.4 | $3.2 | 262.1K | Alibaba Publicación 2026-02 Precio $0.4 / $3.2 Longitud 262.1K | ||||
| 9–10.º | Qwen3.5 27B | Alibaba | Valoración 64.5 | 1339Puesto 71–166 | $0.3 | $2.4 | 262.1K | Alibaba Publicación 2026-02 Precio $0.3 / $2.4 Longitud 262.1K | ||||
| 11.º | GPT-OSS 120B | OpenAI | Valoración 61.0 | 1325Puesto 95–166 | — | — | 128K | OpenAI Publicación 2025-08 Precio — Longitud 128K | ||||
| 12.º | GPT-OSS-Swallow-120B-RL-v0.1 | Swallow (東京科学大学) | Valoración 60.5 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 13.º | Qwen3.5 35B A3B | Alibaba | Valoración 59.9 | 1315Puesto 93–183 | $0.25 | $2 | 262.1K | Alibaba Publicación 2026-02 Precio $0.25 / $2 Longitud 262.1K | ||||
| 14.º | Qwen3 Next 80B A3B | Alibaba | Valoración 59.0 | 1293Puesto 112–202 | $0.5 | $6 | 131.1K | Alibaba Publicación 2025-09 Precio $0.5 / $6 Longitud 131.1K | ||||
| 15.º | GPT-OSS-Swallow-120B-SFT-v0.1 | Swallow (東京科学大学) | Valoración 56.4 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 16.º | GPT-OSS 20B | OpenAI | Valoración 55.8 | 1256Puesto 140–216 | — | — | 131K | OpenAI Publicación 2025-08 Precio — Longitud 131K | ||||
| 17.º | Qwen3-Swallow-32B-RL-v0.2 | Swallow (東京科学大学) | Valoración 52.9 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 18.º | GPT-OSS-Swallow-20B-RL-v0.1 | Swallow (東京科学大学) | Valoración 51.7 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 19.º | LLM-jp-4 32B A3B | LLM-jp | Valoración 50.9 | — | — | — | — | — | — | LLM-jp Publicación — Precio — Longitud — | ||
| 20.º | Qwen3 235B A22B (thinking) | Alibaba | Valoración 49.4 | 1376Puesto 49–142 | — | — | 262.1K | Alibaba Publicación 2025-07 Precio — Longitud 262.1K | ||||
| 21.º | GPT-OSS-Swallow-20B-SFT-v0.1 | Swallow (東京科学大学) | Valoración 48.8 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 22.º | Qwen3.5 9B | Alibaba | Valoración 48.3 | — | — | — | 262K | Alibaba Publicación 2026-02 Precio — Longitud 262K | ||||
| 23.º | Qwen3-Swallow-32B-SFT-v0.2 | Swallow (東京科学大学) | Valoración 47.7 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 24.º | Llama 3.3 70B (instruct) | Meta | Valoración 44.5 | 1214Puesto 176–224 | — | — | 131.1K | Meta Publicación 2024-12 Precio — Longitud 131.1K | ||||
| 25.º | LLM-jp-4 8B | LLM-jp | Valoración 43.9 | — | — | — | — | — | — | LLM-jp Publicación — Precio — Longitud — | ||
| 26.º | Qwen3-Swallow-32B-CPT-v0.2 | Swallow (東京科学大学) | Valoración 43.6 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 27.º | Qwen3-Swallow-30B-A3B-RL-v0.2 | Swallow (東京科学大学) | Valoración 43.3 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 28–29.º | NVIDIA-Nemotron-Nano-9B-v2-Japanese | NVIDIA | Valoración 43.0 | — | — | — | — | — | — | NVIDIA Publicación — Precio — Longitud — | ||
| 28–29.º | Qwen3 235B A22B (instruct) | Alibaba | Valoración 43.0 | 1392Puesto 44–119 | — | — | 128K | Alibaba Publicación 2025-07 Precio — Longitud 128K | ||||
| 30.º | GPT-4.1 | OpenAI | Valoración 41.6 | 1347Puesto 83–150 | $2 | $8 | 1.05M | OpenAI Publicación 2025-04 Precio $2 / $8 Longitud 1.05M | ||||
| 31.º | Gemma 4 E4B | Valoración 41.0 | — | — | — | 131.1K | — | — | Google Publicación — Precio — Longitud 131.1K | |||
| 32–34.º | Qwen3.5 4B | Alibaba | Valoración 40.4 | — | — | — | 262.1K | Alibaba Publicación 2026-02 Precio — Longitud 262.1K | ||||
| 32–34.º | Qwen3-Swallow-30B-A3B-SFT-v0.2 | Swallow (東京科学大学) | Valoración 40.4 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 32–34.º | Qwen3-Swallow-8B-RL-v0.2 | Swallow (東京科学大学) | Valoración 40.4 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 35.º | Qwen3-Swallow-8B-SFT-v0.2 | Swallow (東京科学大学) | Valoración 39.5 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 36.º | Qwen3-Swallow-30B-A3B-CPT-v0.2 | Swallow (東京科学大学) | Valoración 39.0 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 37.º | Qwen3 Next 80B A3B (instruct) | Alibaba | Valoración 38.4 | 1369Puesto 53–146 | $0.5 | $2 | 129K | Alibaba Publicación 2025-09 Precio $0.5 / $2 Longitud 129K | ||||
| 38.º | Llama 4 Scout | Meta | Valoración 37.2 | 1259Puesto 149–209 | — | — | 128K | Meta Publicación 2025-04 Precio — Longitud 128K | ||||
| 39.º | ELYZA-Shortcut-1.0-Qwen-32B | ELYZA | Valoración 34.6 | — | — | — | — | — | — | ELYZA Publicación — Precio — Longitud — | ||
| 40.º | Gemma 4 E2B | Valoración 34.3 | — | — | — | 131.1K | — | — | Google Publicación — Precio — Longitud 131.1K | |||
| 41.º | ABEJA-QwQ32b-Reasoning-Japanese-v1.0 | ABEJA | Valoración 34.0 | — | — | — | — | — | — | ABEJA Publicación — Precio — Longitud — | ||
| 42.º | Qwen3 30B A3B | Alibaba | Valoración 33.4 | 1254Puesto 150–211 | — | — | 128K | Alibaba Publicación 2025-04 Precio — Longitud 128K | ||||
| 43.º | Qwen3 14B | Alibaba | Valoración 32.3 | — | $0.35 | $1.4 | 131.1K | Alibaba Publicación 2025-04 Precio $0.35 / $1.4 Longitud 131.1K | ||||
| 44.º | GPT-4o (2024-08) | OpenAI | Valoración 31.1 | 1292Puesto 124–185 | $2.5 | $10 | 128K | OpenAI Publicación 2024-08 Precio $2.5 / $10 Longitud 128K | ||||
| 45.º | Qwen3-Swallow-8B-CPT-v0.2 | Swallow (東京科学大学) | Valoración 30.8 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 46–47.º | Gemma 3 12B | Valoración 29.4 | — | — | — | 131K | Google Publicación 2025-03 Precio — Longitud 131K | |||||
| 46–47.º | Qwen3 32B | Alibaba | Valoración 29.4 | — | $0.7 | $2.8 | 131.1K | Alibaba Publicación 2025-04 Precio $0.7 / $2.8 Longitud 131.1K | ||||
| 48.º | Llama 3.1 8B (instruct) | Meta | Valoración 29.1 | 1087Puesto 232–251 | — | — | 128K | Meta Publicación 2024-07 Precio — Longitud 128K | ||||
| 49.º | ELYZA-Thinking-1.0-Qwen-32B | ELYZA | Valoración 28.8 | — | — | — | — | — | — | ELYZA Publicación — Precio — Longitud — | ||
| 50.º | Qwen3 8B | Alibaba | Valoración 28.2 | — | $0.18 | $0.7 | 131.1K | Alibaba Publicación 2025-04 Precio $0.18 / $0.7 Longitud 131.1K | ||||
| 51.º | QwQ Bakeneko 32B | rinna | Valoración 27.3 | — | — | — | — | — | — | rinna Publicación — Precio — Longitud — | ||
| 52.º | Qwen3 4B | Alibaba | Valoración 27.0 | — | — | — | — | Alibaba Publicación 2025-04 Precio — Longitud — | ||||
| 53.º | DeepSeek-R1-Distill-Qwen-32B-Japanese | CyberAgent | Valoración 26.7 | — | — | — | — | — | — | CyberAgent Publicación — Precio — Longitud — | ||
| 54.º | Gemma 3 27B | Valoración 26.5 | 1308Puesto 117–173 | — | — | 128K | Google Publicación 2025-03 Precio — Longitud 128K | |||||
| 55.º | Llama 3.3 Swallow 70B (instruct, v0.4) | Swallow (東京科学大学) | Valoración 25.9 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 56.º | OLMo 3 32B Think | Ai2 | Valoración 25.6 | — | — | — | — | — | Ai2 Publicación — Precio — Longitud — | |||
| 57.º | OLMo 3 7B Think | Ai2 | Valoración 25.3 | — | — | — | — | — | — | Ai2 Publicación — Precio — Longitud — | ||
| 58.º | Gemma 3 4B | Valoración 24.7 | — | — | — | 131K | Google Publicación 2025-03 Precio — Longitud 131K | |||||
| 59.º | Qwen3 1.7B | Alibaba | Valoración 23.8 | — | — | — | — | Alibaba Publicación 2025-04 Precio — Longitud — | ||||
| 60.º | Llama 3.1 Nemotron Nano 8B (v1) | NVIDIA | Valoración 23.5 | — | — | — | — | — | — | NVIDIA Publicación — Precio — Longitud — | ||
| 61.º | Qwen3.5 2B | Alibaba | Valoración 22.1 | — | — | — | 32.8K | Alibaba Publicación 2026-02 Precio — Longitud 32.8K | ||||
| 62.º | Llama 3.1 Swallow 8B (instruct, v0.5) | Swallow (東京科学大学) | Valoración 20.6 | — | — | — | — | — | — | Swallow (東京科学大学) Publicación — Precio — Longitud — | ||
| 63.º | Qwen3 0.6B | Alibaba | Valoración 18.6 | — | — | — | — | Alibaba Publicación 2025-04 Precio — Longitud — | ||||
| 64.º | Sarashina2.2 3B (instruct, v0.1) | SB Intuitions | Valoración 17.4 | — | — | — | — | — | — | SB Intuitions Publicación — Precio — Longitud — | ||
| 65.º | Qwen3.5 0.8B | Alibaba | Valoración 16.6 | — | — | — | 32.8K | Alibaba Publicación 2026-02 Precio — Longitud 32.8K | ||||
| 66.º | LLM-jp-3.1 1.8B (instruct4) | LLM-jp | Valoración 13.7 | — | — | — | — | — | — | LLM-jp Publicación — Precio — Longitud — | ||
| 67.º | Gemma 3 1B | Valoración 13.4 | — | — | — | — | Google Publicación 2025-03 Precio — Longitud — | |||||
| 68.º | LLM-jp-3.1 13B (instruct4) | LLM-jp | Valoración 13.1 | — | — | — | — | — | — | LLM-jp Publicación — Precio — Longitud — |
Cómo leer esta página
- El valor es la proporción de instrucciones seguidas. Las páginas por uso utilizan el valor medido junto con las tareas en japonés.
- La valoración humana es una puntuación que sale de personas que comparan 2 respuestas y eligen una (cuanto más alta, mejor).
- La tasa de éxito es la proporción de intentos que salieron bien. Una diferencia de 1 punto equivale a 1 intento de cada 100.
- Valores de la misma tarea medidos junto con las tareas en japonés: Seguir instrucciones dadas en japonés (MIFEvalJa)
- Los iconos de la columna Admite son, de izquierda a derecha: puede usar herramientas / puede leer imágenes / puede responder con un formato fijo (JSON) (una marca tenue significa que no lo admite o que se desconoce).
- Un modelo de pesos abiertos es aquel cuyo contenido (los pesos) se ha publicado y que también puedes ejecutar en tu propio ordenador o servidor. Los modelos sin la marca de pesos abiertos se usan normalmente a través del servicio del desarrollador (aplicación o API) (algunos modelos no tienen información sobre sus pesos).
- ChatGPT y los demás nombres junto al nombre del modelo son los servicios que ese desarrollador ofrece al público. Comprueba en el propio servicio si ese modelo se puede elegir allí.
Datos: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT), actualizado el 2026-10-24, Fuentes de datos