Fuentes de datos y licencias

Datos que usamos

De Benchmark data de Epoch AI usamos los benchmarks que Epoch AI ejecutó por su cuenta y 12 tablas en las que Epoch AI reunió valores publicados por otras instituciones.

Las tablas que reúnen valores publicados por otras instituciones (con el tipo «Valores publicados por otras instituciones» en la lista) usan los valores tal como están en los datos originales. Si un mismo modelo se midió de varias formas (con distintas construcciones o configuraciones de agente), se deja la fila con el mejor valor. Solo se muestra ± en las tablas con una columna de error (las columnas de intervalo de confianza del 95 % se dividen entre 1,96 para pasarlas a error estándar).

Del Leaderboard dataset de Arena (Hugging Face) usamos los valores más recientes de la categoría de conversación de texto, con el efecto de la longitud y el formato de las respuestas eliminado.

Tareas en japonés e inglés: los valores por tarea (0–1) de Swallow LLM Leaderboard (Swallow LLM team, CC BY 4.0) para los modelos ajustados para seguir instrucciones, multiplicados por 100 y mostrados en % (la traducción (WMT20) se muestra en puntos, no en %). Los datos originales no tienen error, así que no se muestra ± y solo los modelos con el mismo valor entran en el mismo intervalo de puestos. La fecha de evaluación es la de los datos originales.

Precio / contexto: valores de Models.dev (MIT), vinculados solo a los modelos que aparecen aquí. Los precios son los que publica el propio desarrollador (entrada / salida, dólares estadounidenses por cada millón de tokens); no se usan los de otros proveedores. El contexto se muestra con K para 1000 tokens y M para un millón de tokens. La fecha de publicación es la de Epoch AI; para los modelos que no la tienen, es la fecha más temprana de los registros del desarrollador en las otras fuentes (sin contar el 1 de enero, que se pone cuando solo se conoce el año).

Los yenes de las páginas en japonés son una conversión aproximada desde el dólar estadounidense con el tipo de referencia del Banco Central Europeo (importado una vez por semana a través de Frankfurter). Las páginas en otros idiomas mantienen el dólar estadounidense.

Los nombres de los servicios de los desarrolladores salen de una tabla fija; no están en los datos importados.

Marcas de compatibilidad (herramientas / imágenes / JSON): son los valores de Models.dev para llamadas a herramientas (tool_call), imágenes (image) en los tipos de entrada (modalities.input) y salida estructurada (structured_output). Los modelos sin valor se marcan como «Se desconoce» y quedan fuera al filtrar por condiciones.

Licencias y obtención

Epoch AI / Arena / Swallow LLM Leaderboard se publican con CC BY 4.0 y Models.dev con MIT. Los importamos una vez por semana con reglas fijas. Los benchmarks y categorías que desaparecen de los datos originales, y los datos originales cuya forma o número de filas se sale de lo previsto, se mantienen con los valores anteriores, y la página indica la fecha en que dejaron de actualizarse.

• Arena, Leaderboard dataset (CC BY 4.0). Actualizado el 2026-⁠10-⁠24
• Epoch AI, Benchmark data (CC BY 4.0). Actualizado el 2026-⁠10-⁠24
• Swallow LLM team, Swallow LLM Leaderboard (CC BY 4.0). Actualizado el 2026-⁠10-⁠14
• Models.dev (MIT). Actualizado el 2026-⁠10-⁠24
• Frankfurter, European Central Bank reference rates. Actualizado el 2026-⁠10-⁠23

Cómo se calcula

La valoración humana de Arena se redondea a un número entero y se acompaña con ± de la mitad del intervalo (límite inferior–límite superior). Los modelos cuyos intervalos se solapan comparten el mismo intervalo de puestos: el extremo superior es «el número de modelos cuyo límite inferior supera el límite superior propio + 1» y el inferior, «el número de modelos cuyo límite superior es igual o mayor que el límite inferior propio».

El valor de Epoch AI es la puntuación media (mean_score) y tiene error estándar (stderr) (en las filas sin puntuación media se usa la puntuación máxima (Best score) y no se muestra el error). Si la diferencia entre dos modelos es como máximo 1,96 × √(se1² + se2²) (se es el error estándar), entran en el mismo intervalo de puestos. Las filas sin error estándar no se agrupan con otras y se ordenan solo por el valor.

Valor de la tarea = (puntuación (score) − puntuación al azar (random_baseline)) ÷ (puntuación máxima (score_ceiling) − puntuación al azar), en una escala de 0 a 100 (el valor sin la parte que se obtiene adivinando). Según la tarea, el valor se llama tasa de acierto / tasa de éxito / puntuación. No se muestra en los benchmarks sin puntuación al azar ni puntuación máxima. El ± de la tabla y de las barras es 1,96 × el error estándar (el intervalo del 95 %) pasado a la escala del valor de la tarea. Los valores y el ± se redondean a 1 decimal.

Pesos: un modelo de pesos abiertos es aquel cuyo contenido (los pesos) se ha publicado y que también puedes ejecutar en tu propio ordenador o servidor. Los modelos sin la marca de pesos abiertos se usan normalmente a través del servicio del desarrollador (aplicación o API) (algunos modelos no tienen información sobre sus pesos). Los modelos cuya licencia en Arena no es privativa (proprietary) se marcan como «Abiertos» (sus pesos están publicados y puedes ejecutarlos en tu propio servidor) y los privativos, como «Cerrados». Para los modelos sin licencia se usa la clasificación pública de Epoch AI y, si tampoco existe, el campo open_weights de Models.dev (el registro del desarrollador); si no hay ninguno de los dos, la columna de pesos muestra «—».

Vs. semana anterior: diferencia de valoración humana (número entero) con respecto al historial más reciente de los que se guardan en cada importación que tenga al menos 6 días más que el último; los modelos que no están en ese historial se marcan como «Nuevo».

Hay 2 ejes de precio. Estándar = (3 × entrada + salida) ÷ 4 (la media ponderada de entrada 3 : salida 1, habitual en el sector). Centrado en la entrada = el precio unitario de entrada (para usos en los que la mayoría de los tokens son de entrada). Ambos están en dólares estadounidenses por cada millón de tokens.

Recomendaciones por precio (el modelo mejor valorado en cada precio): se recorren los modelos de más barato a más caro según el eje de precio del uso y se incluyen todos los que tienen una valoración, en el criterio de ordenación, más alta que todos los modelos más baratos (a igual precio, el mejor valorado). La tabla se ordena de mayor a menor valoración. Por eso, entre los modelos que cuestan hasta ese precio no hay ninguno mejor valorado que la fila más alta que entra en el precio que puedes pagar. La primera fila es el modelo mejor valorado entre los de precio conocido. △ se pone en las filas cuya diferencia de valoración con la fila sin △ más cercana de abajo cabe en la suma de los márgenes ± de ambas (sus márgenes ± se solapan) (no se pone en la última fila ni en las filas en las que alguna de las dos no tiene ±). Las filas con △ cuestan más que la fila sin △ más cercana de abajo, pero la diferencia de valoración no está clara. Basta con elegir la fila más alta sin △ que entre en el precio que puedes pagar. Entre filas con ±, una fila sin △ tiene una valoración claramente más alta que la fila sin △ más cercana de abajo. Al elegir un precio máximo, la tabla no se rehace: solo se ocultan las filas que superan el máximo (las marcas △ tampoco cambian). No se incluyen los modelos de precio desconocido.

El ● del gráfico y la marca de la tabla de todos los modelos: solo se ponen en los modelos que aparecen en la tabla de recomendaciones por precio (incluidas las filas con △). No creamos puntuaciones que mezclen valoración y precio ni que mezclen las evaluaciones de referencia.

Un mismo modelo que solo se diferencia en el nivel de razonamiento («alto», «máximo», etc.) se junta en una fila, y se usa el valor del nivel más alto en esa página. Los valores de cada nivel aparecen en la tabla de comparación (en el PC también se muestran al pasar el ratón por el nombre). Los que solo se diferencian en el proveedor (otras empresas que ofrecen el mismo modelo) también se tratan como el mismo modelo, y como contexto se usa el valor más grande. La fecha de publicación es la de Epoch AI; para los modelos que no la tienen, es la fecha más temprana de los registros del desarrollador en las otras fuentes (sin contar el 1 de enero, que se pone cuando solo se conoce el año). Los de distinto tamaño (como mini) son modelos distintos. Cómo se tratan las versiones con fechas distintas se explica en la sección «Cómo se emparejan los nombres de los modelos».

No creamos una puntuación global que mezcle varios benchmarks.

Cómo se emparejan los nombres de los modelos

Los nombres de los modelos se normalizan pasándolos a minúsculas, cambiando los espacios, _ y . por - y quitando los paréntesis. Los modelos cuyo nombre en Arena coincide, una vez normalizado, con el nombre de versión (Model version) o el nombre visible de Epoch AI se tratan como el mismo modelo; los que no coinciden se tratan como modelos distintos en cada fuente. También se juntan los nombres que quedan iguales al unificar la forma de escribirlos. Cuando hay 2 o más versiones en el mismo mes, el nombre conserva el día, y las fechas distintas se tratan como versiones distintas. Un nombre sin fecha se trata tal cual como una sola versión. Sin embargo, si solo hay un nombre sin fecha y un nombre con fecha, y esa fecha coincide con el año y mes de publicación del que no tiene fecha, se tratan como el mismo modelo en una sola fila. En los nombres que se muestran en la página, la fecha y el mes en inglés del ID de la API se pasan a año y mes (año, mes y día si hay 2 o más en el mismo mes), la ortografía se acerca a la forma oficial, y instruct / la versión / la cuantización / el año y mes, junto con las palabras complementarias al final del nombre (como preview o thinking), se agrupan entre paréntesis. A los nombres con fecha de publicación conocida que no necesitan el año y mes para distinguir versiones se les quita (se ve en la columna de publicación). En las versiones que conservan la fecha en el nombre, la fecha de publicación solo se muestra si se conoce la de esa versión; no se usa la del modelo original.