Qué indica la puntuación de un benchmark
La puntuación de un benchmark de LLM es la proporción de problemas comunes que se resolvieron. Si es la tasa de acierto original, 70 puntos se leen como 70 problemas resueltos de cada 100, y una diferencia de 3 puntos entre dos modelos equivale a 3 problemas de cada 100.
Pero esa diferencia no tiene por qué ser una diferencia de capacidad. El número de problemas es limitado y un mismo modelo responde algo distinto cada vez, así que la puntuación tiene un margen de error. Si la diferencia cabe en ese margen, los dos se leen como casi iguales.
En las preguntas de opción múltiple, ten en cuenta también la parte que se acierta respondiendo al azar. Con 4 opciones, incluso adivinando se acierta 1 de cada 4. Los valores de las tareas de este sitio, en los benchmarks cuya puntuación al azar se conoce, quitan esa parte y se convierten a 0–100, donde 0 equivale a responder al azar y 100 es la puntuación máxima. A continuación se explican por orden el margen de error, el aprendizaje de los problemas y las condiciones de la prueba.
Por qué existe el margen de error
El margen de error tiene dos causas. La primera es el número de problemas. Los problemas de un benchmark son solo una parte extraída del conjunto de problemas con los que se podría poner a prueba la capacidad que se quiere medir. Hay un artículo de 2024 que trata cómo añadir márgenes de error a las evaluaciones (Evan Miller). Este artículo también considera los problemas de la evaluación como una parte extraída y presenta fórmulas para analizar los resultados.
Cuantos menos problemas, más amplio es el margen. Por ejemplo, si se mide con 100 problemas un modelo con una tasa de acierto de alrededor del 70 %, el margen de variación por azar (el margen del 95 %) es de unos ± 9 puntos. Con 1000 problemas se reduce a unos ± 3 puntos. Hay que multiplicar los problemas por 4 para que el margen se reduzca a la mitad.
La segunda es la variación de las respuestas. Un LLM escribe respuestas algo distintas cada vez incluso al mismo problema, así que una puntuación medida una sola vez depende de la suerte. Epoch AI mide muchos modelos 16 veces con preguntas de opción múltiple de ciencia de nivel experto y usa la media como puntuación (según su explicación de octubre de 2026).
Cómo leer las diferencias - Si los márgenes ± se solapan, es casi igual
Las páginas de este sitio añaden un margen ± a las puntuaciones. Una diferencia en la que los dos márgenes se solapan está dentro del margen de error (casi igual), y una en la que no se solapan es difícil de explicar solo por el azar. La marca △ aparece en las tablas por precio de las páginas por uso. Se pone en la fila más cara cuyo margen se solapa con el de la fila sin △ que tiene justo debajo. En los gráficos de barras de las páginas, el extremo de la barra es el valor y la línea fina indica el margen ±.
Pero solaparse o no no es una frontera de blanco o negro. Cuanto menor es el solapamiento, más fiable es la diferencia, y cuanto mayor, más fácil es que el orden se invierta si se vuelve a medir. Si dudas entre una fila con △ y la fila sin △ que tiene debajo, elige la fila sin △, que es más barata, o la que mejor te funcionó al probarla en tu trabajo.
Los números de los puestos se leen igual. Los puestos de las páginas aparecen como intervalos, por ejemplo “puestos 2–5”, porque a los modelos cuyos márgenes se solapan se les da el mismo intervalo de puestos. Aunque sean el 2.º y el 4.º, si los intervalos se solapan, casi no hay diferencia.
La contaminación: cuando el modelo aprende los problemas del benchmark
Si los problemas de un benchmark, o textos muy parecidos, se mezclan con los datos de entrenamiento, el modelo memoriza las respuestas en lugar de la forma de resolverlos. Esto se llama contaminación. Los problemas publicados se citan en la web, así que tienen ocasiones de entrar en los datos de entrenamiento.
Un benchmark de problemas de aritmética con enunciado es GSM8K. Un artículo de 2024 creó 1000 problemas nuevos (GSM1k) con la misma forma y dificultad, y volvió a medir muchos modelos. Algunos modelos bajaron hasta 8 puntos en la tasa de acierto, y en varias familias de modelos se vieron indicios de haber memorizado los problemas. En cambio, en la mayoría de los modelos punteros casi no había esos indicios.
El grado de contaminación varía según el modelo y no se puede distinguir solo por la puntuación. No decidas solo por la puntuación en problemas publicados hace años: mira también la de problemas creados recientemente o la de benchmarks que no publican sus problemas. En la lista de benchmarks de este sitio, los que tienen un benchmark sucesor llevan su nombre al lado.
En un mismo benchmark, la puntuación cambia con las condiciones
Aunque el benchmark tenga el mismo nombre, la puntuación cambia según quién lo midió y con qué condiciones. Epoch AI explica que pequeñas diferencias en el texto de las instrucciones o en la configuración de la evaluación pueden cambiar mucho los resultados. El ejemplo que pone es la puntuación de un modelo en preguntas de opción múltiple de ciencia de nivel experto. El valor publicado por el desarrollador era del 65 %, pero la media de 16 mediciones de Epoch AI rondaba el 55 % (según su explicación de octubre de 2026).
Entre las diferencias de condiciones están la redacción de las instrucciones, cómo se fija el formato de la respuesta y el ajuste de la cantidad de razonamiento (cuánto tiempo dedica a pensar antes de responder). Si el modelo no escribe la respuesta en el formato fijado y se le cuenta como fallo, la puntuación puede quedar por debajo de la del azar. Las tablas comparativas de este sitio también muestran los valores para cada ajuste de la cantidad de razonamiento.
Por eso, las puntuaciones se comparan solo entre valores del mismo tipo. La lista de benchmarks de este sitio muestra los dos tipos por separado. “Resultados de las tareas” son los resultados que el organismo que reúne las evaluaciones ejecutó por su cuenta en las mismas condiciones. “Valores publicados por otros organismos” reúne los valores publicados por los organismos que crearon las tareas y otros.
Resumen - Cuatro preguntas para leer una puntuación
Antes de usar la puntuación de un benchmark, responde a estas cuatro preguntas.
- Qué miden los problemas (si se parecen a tu uso)
- Si la diferencia supera el margen de error
- Si los problemas se han mezclado con el entrenamiento
- Si se comparan puntuaciones medidas en las mismas condiciones
Solo una diferencia que ha pasado las cuatro comprobaciones es un motivo para elegir. Si quieres ver la capacidad matemática, en la página de matemáticas y lógica, y para la profundidad de conocimientos, en la página del uso de responder preguntas especializadas, conviene mirar lado a lado la valoración que sirve de criterio para ordenar y las que se muestran como referencia.