Saltar al contenido principal

Resultados en tareas

Tareas largas de rehacer programas completos (MirrorCode)

Tarea en la que el modelo rehace desde cero un programa existente completo sin ver el código fuente original.

Cómo leer esta tabla

  • Cuanto más arriba, mejor valoración; la diferencia entre modelos que aparecen con un intervalo como «1–2» está dentro del margen de error.
  • La valoración es la proporción (%) de intentos en los que se completó la tarea común.
  • Una diferencia de 3 equivale a 3 intentos de cada 100, y ± es lo que puede variar al volver a medir.
  • El precio es una referencia por cada millón de tokens: primero lo que se le da a leer y después lo que se le pide escribir.
  • La longitud es la cantidad de texto que se le puede dar a leer de una vez (tokens).

Margen de error del 1.º puesto

PuestoModeloDesarrolladorTasa de éxito
(%)
Escala de Tasa de éxito: 0–100
Fecha de evaluaciónEntrada $
/1M
Salida $
/1M
ContextoAdmitePesosPublicaciónPrecio y características
1–4.ºClaude Opus 5.5AnthropicValoración 77.4 ±16.3$4$201MAnthropic Publicación 2026-⁠09 Precio $4 / $20 Longitud 1M
1–5.ºClaude Fable 5.1AnthropicValoración 73.3 ±18.0$10$501MAnthropic Publicación 2026-⁠09 Precio $10 / $50 Longitud 1M
1–5.ºClaude Fable 5AnthropicValoración 63.9 ±20.4$10$501MAnthropic Publicación 2026-⁠06 Precio $10 / $50 Longitud 1M
1–6.ºGemini 4 ArgonGoogleValoración 58.9 ±23.0$2$101.05MGoogle Publicación 2026-⁠09 Precio $2 / $10 Longitud 1.05M
2–7.ºGPT-6 AstraOpenAIValoración 46.7 ±23.2$10$501.05MOpenAI Publicación 2026-⁠09 Precio $10 / $50 Longitud 1.05M
4–9.ºClaude Opus 4.7AnthropicValoración 31.1 ±17.7$5$251MAnthropic Publicación 2026-⁠04 Precio $5 / $25 Longitud 1M
5–10.ºGPT-5.6 SolOpenAIValoración 20.0 ±18.1$4$201.05MOpenAI Publicación 2026-⁠07 Precio $4 / $20 Longitud 1.05M
6–10.ºGPT-5.4OpenAIValoración 15.6 ±15.1$2.5$151.05MOpenAI Publicación 2026-⁠03 Precio $2.5 / $15 Longitud 1.05M
6–10.ºGPT-5.5OpenAIValoración 10.0 ±11.8$5$301.05MOpenAI Publicación 2026-⁠04 Precio $5 / $30 Longitud 1.05M
7–10.ºGemini 3.1 Pro (preview)GoogleValoración 8.9 ±8.9$2$121.05MGoogle Publicación 2026-⁠02 Precio $2 / $12 Longitud 1.05M

Evolución de la máxima tasa de éxito

2026-02-19Publicación2026-09-30
Cómo leer esta página
  • Se califica según si la salida del programa rehecho coincide por completo con la del original, incluidas pruebas ocultas, y el valor es la proporción de tareas que superan todas las pruebas.
  • La tasa de éxito es la proporción de intentos que salieron bien. Una diferencia de 1 punto equivale a 1 intento de cada 100.
  • Los iconos de la columna Admite son, de izquierda a derecha: puede usar herramientas / puede leer imágenes / puede responder con un formato fijo (JSON) (una marca tenue significa que no lo admite o que se desconoce).
  • Un modelo de pesos abiertos es aquel cuyo contenido (los pesos) se ha publicado y que también puedes ejecutar en tu propio ordenador o servidor. Los modelos sin la marca de pesos abiertos se usan normalmente a través del servicio del desarrollador (aplicación o API) (algunos modelos no tienen información sobre sus pesos).
  • ChatGPT y los demás nombres junto al nombre del modelo son los servicios que ese desarrollador ofrece al público. Comprueba en el propio servicio si ese modelo se puede elegir allí.

Datos: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT), actualizado el 2026-⁠10-⁠24, Fuentes de datos