Saltar al contenido principal

Resultados en tareas

Preguntas difíciles de opción múltiple de muchos campos (MMLU-Pro, Preguntas en inglés)

Tarea que reúne preguntas difíciles en inglés y con muchas opciones de campos variados como derecho, medicina, ingeniería y economía.

Cómo leer esta tabla

  • Cuanto más arriba, mejor valoración; la diferencia entre modelos que aparecen con un intervalo como «1–2» está dentro del margen de error.
  • La valoración es la proporción (%) de preguntas comunes que se resolvieron.
  • Una diferencia de 3 equivale a 3 preguntas de cada 100.
  • El precio es una referencia por cada millón de tokens: primero lo que se le da a leer y después lo que se le pide escribir.
  • La longitud es la cantidad de texto que se le puede dar a leer de una vez (tokens).
PuestoModeloDesarrolladorTasa de acierto
(%)
Escala de Tasa de acierto: 70–90
Fecha de evaluaciónEntrada $
/1M
Salida $
/1M
ContextoAdmitePesosPublicaciónPrecio y características
1.ºGPT-5.4OpenAIValoración 87.5$2.5$151.05MOpenAI Publicación 2026-⁠03 Precio $2.5 / $15 Longitud 1.05M
2.ºQwen3.5 122B A10B⁠AlibabaValoración 87.0$0.4$3.2262.1KAlibaba Publicación 2026-⁠02 Precio $0.4 / $3.2 Longitud 262.1K
3.ºGemma 4 31B⁠GoogleValoración 86.9——262.1KGoogle Publicación 2026-⁠04 Precio — Longitud 262.1K
4.ºQwen3.5 27B⁠AlibabaValoración 86.8$0.3$2.4262.1KAlibaba Publicación 2026-⁠02 Precio $0.3 / $2.4 Longitud 262.1K
5.ºGPT-5OpenAIValoración 86.5$1.25$10400KOpenAI Publicación 2025-⁠08 Precio $1.25 / $10 Longitud 400K
6–7.ºo3OpenAIValoración 85.7$2$8200KOpenAI Publicación 2025-⁠04 Precio $2 / $8 Longitud 200K
6–7.ºQwen3.5 35B A3B⁠AlibabaValoración 85.7$0.25$2262.1KAlibaba Publicación 2026-⁠02 Precio $0.25 / $2 Longitud 262.1K
8–9.ºGemma 4 26B A4B⁠GoogleValoración 84.7$0.15$0.6262.1KGoogle Publicación 2026-⁠04 Precio $0.15 / $0.6 Longitud 262.1K
8–9.ºQwen3 235B A22B (thinking)⁠AlibabaValoración 84.7——262.1KAlibaba Publicación 2025-⁠07 Precio — Longitud 262.1K
10.ºNVIDIA Nemotron 3 Super 120B A12B⁠NVIDIAValoración 83.6——262.1KNVIDIA Publicación 2026-⁠03 Precio — Longitud 262.1K
11.ºQwen3 Next 80B A3B⁠AlibabaValoración 82.7$0.5$6131.1KAlibaba Publicación 2025-⁠09 Precio $0.5 / $6 Longitud 131.1K
12.ºQwen3.5 9B⁠AlibabaValoración 82.6——262KAlibaba Publicación 2026-⁠02 Precio — Longitud 262K
13–14.ºQwen3 235B A22B (instruct)⁠AlibabaValoración 82.4——128KAlibaba Publicación 2025-⁠07 Precio — Longitud 128K
13–14.ºQwen3 Next 80B A3B (instruct)⁠AlibabaValoración 82.4$0.5$2129KAlibaba Publicación 2025-⁠09 Precio $0.5 / $2 Longitud 129K
15.ºGPT-5 miniOpenAIValoración 82.2$0.25$2400KOpenAI Publicación 2025-⁠08 Precio $0.25 / $2 Longitud 400K
16.ºGPT-4.1OpenAIValoración 81.3$2$81.05MOpenAI Publicación 2025-⁠04 Precio $2 / $8 Longitud 1.05M
17.ºABEJA-QwQ32b-Reasoning-Japanese-v1.0ABEJAValoración 79.8—————ABEJA Publicación — Precio — Longitud —
18.ºo3-miniOpenAIValoración 79.2$1.1$4.4200KOpenAI Publicación 2025-⁠01 Precio $1.1 / $4.4 Longitud 200K
19.ºGPT-OSS 120B⁠OpenAIValoración 78.9——128KOpenAI Publicación 2025-⁠08 Precio — Longitud 128K
20.ºQwen3.5 4B⁠AlibabaValoración 78.8——262.1KAlibaba Publicación 2026-⁠02 Precio — Longitud 262.1K
21.ºQwen3 32B⁠AlibabaValoración 78.6$0.7$2.8131.1KAlibaba Publicación 2025-⁠04 Precio $0.7 / $2.8 Longitud 131.1K
22.ºQwen3 30B A3B⁠AlibabaValoración 78.2——128KAlibaba Publicación 2025-⁠04 Precio — Longitud 128K
23–24.ºDeepSeek-R1-Distill-Qwen-32B-JapaneseCyberAgentValoración 77.8—————CyberAgent Publicación — Precio — Longitud —
23–24.ºQwen3-Swallow-32B-RL-v0.2Swallow (東京科学大学)Valoración 77.8—————Swallow (東京科学大学) Publicación — Precio — Longitud —
25.ºQwen3 14B⁠AlibabaValoración 77.6$0.35$1.4131.1KAlibaba Publicación 2025-⁠04 Precio $0.35 / $1.4 Longitud 131.1K
26.ºGPT-OSS-Swallow-120B-SFT-v0.1Swallow (東京科学大学)Valoración 77.3—————Swallow (東京科学大学) Publicación — Precio — Longitud —
27.ºQwQ Bakeneko 32BrinnaValoración 77.2—————rinna Publicación — Precio — Longitud —
28.ºQwen3-Swallow-32B-CPT-v0.2Swallow (東京科学大学)Valoración 76.1—————Swallow (東京科学大学) Publicación — Precio — Longitud —
29.ºOLMo 3 32B Think⁠Ai2Valoración 76.0————Ai2 Publicación — Precio — Longitud —
30.ºQwen3-Swallow-32B-SFT-v0.2Swallow (東京科学大学)Valoración 75.7—————Swallow (東京科学大学) Publicación — Precio — Longitud —
31.ºGPT-4o (2024-⁠08)OpenAIValoración 74.9$2.5$10128KOpenAI Publicación 2024-⁠08 Precio $2.5 / $10 Longitud 128K
32.ºGPT-OSS 20B⁠OpenAIValoración 74.8——131KOpenAI Publicación 2025-⁠08 Precio — Longitud 131K
33.ºLlama 4 Scout⁠MetaValoración 74.4——128KMeta Publicación 2025-⁠04 Precio — Longitud 128K
34.ºQwen3-Swallow-30B-A3B-CPT-v0.2Swallow (東京科学大学)Valoración 74.0—————Swallow (東京科学大学) Publicación — Precio — Longitud —
35.ºGPT-OSS-Swallow-20B-RL-v0.1Swallow (東京科学大学)Valoración 73.8—————Swallow (東京科学大学) Publicación — Precio — Longitud —
36.ºGPT-OSS-Swallow-20B-SFT-v0.1Swallow (東京科学大学)Valoración 73.6—————Swallow (東京科学大学) Publicación — Precio — Longitud —
37.ºGPT-OSS-Swallow-120B-RL-v0.1Swallow (東京科学大学)Valoración 73.1—————Swallow (東京科学大学) Publicación — Precio — Longitud —
38.ºNVIDIA-Nemotron-Nano-9B-v2-JapaneseNVIDIAValoración 72.2—————NVIDIA Publicación — Precio — Longitud —
39.ºQwen3 8B⁠AlibabaValoración 72.1$0.18$0.7131.1KAlibaba Publicación 2025-⁠04 Precio $0.18 / $0.7 Longitud 131.1K
40–41.ºELYZA-Thinking-1.0-Qwen-32BELYZAValoración 71.8—————ELYZA Publicación — Precio — Longitud —
Cómo leer esta página
  • El valor es la tasa de acierto.
  • La tasa de acierto es la proporción de preguntas resueltas. Una diferencia de 1 punto equivale a 1 pregunta de cada 100.
  • Los iconos de la columna Admite son, de izquierda a derecha: puede usar herramientas / puede leer imágenes / puede responder con un formato fijo (JSON) (una marca tenue significa que no lo admite o que se desconoce).
  • Un modelo de pesos abiertos es aquel cuyo contenido (los pesos) se ha publicado y que también puedes ejecutar en tu propio ordenador o servidor. Los modelos sin la marca de pesos abiertos se usan normalmente a través del servicio del desarrollador (aplicación o API) (algunos modelos no tienen información sobre sus pesos).
  • ChatGPT y los demás nombres junto al nombre del modelo son los servicios que ese desarrollador ofrece al público. Comprueba en el propio servicio si ese modelo se puede elegir allí.

Datos: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT), actualizado el 2026-⁠10-⁠24, Fuentes de datos