Corregir errores reales en Python (SWE-Bench verified)
Tarea en la que el modelo revisa el código y corrige issues de GitHub abiertos en repositorios públicos de Python, con tareas que los desarrolladores comprobaron a mano.
Cómo leer esta tabla
Cuanto más arriba, mejor valoración; la diferencia entre modelos que aparecen con un intervalo como «1–2» está dentro del margen de error.
La valoración es la proporción (%) de intentos en los que se completó la tarea común.
Una diferencia de 3 equivale a 3 intentos de cada 100, y ± es lo que puede variar al volver a medir.
El precio es una referencia por cada millón de tokens: primero lo que se le da a leer y después lo que se le pide escribir.
La longitud es la cantidad de texto que se le puede dar a leer de una vez (tokens).
Se califica ejecutando las pruebas unitarias del repositorio con el código corregido, y el valor es la proporción de tareas resueltas.
La tasa de éxito es la proporción de intentos que salieron bien. Una diferencia de 1 punto equivale a 1 intento de cada 100.
Los iconos de la columna Admite son, de izquierda a derecha: puede usar herramientas / puede leer imágenes / puede responder con un formato fijo (JSON) (una marca tenue significa que no lo admite o que se desconoce).
Un modelo de pesos abiertos es aquel cuyo contenido (los pesos) se ha publicado y que también puedes ejecutar en tu propio ordenador o servidor. Los modelos sin la marca de pesos abiertos se usan normalmente a través del servicio del desarrollador (aplicación o API) (algunos modelos no tienen información sobre sus pesos).
ChatGPT y los demás nombres junto al nombre del modelo son los servicios que ese desarrollador ofrece al público. Comprueba en el propio servicio si ese modelo se puede elegir allí.
Datos: Arena / Epoch AI / Swallow LLM team (CC BY 4.0) / Models.dev (MIT), actualizado el 2026-10-24, Fuentes de datos