Benchmark

Un benchmark es una prueba común que pone a muchos LLM a resolver problemas con respuesta fija para comparar sus resultados. Hay tipos para cada campo: unos piden resolver problemas de matemáticas, otros corregir errores de programas y otros responder preguntas de nivel experto. Como se puntúa comparando con la respuesta correcta, a diferencia de las evaluaciones en las que personas comparan respuestas, permite ordenar los modelos con la misma vara.

Leer la puntuación como “cuántos problemas de 100 resolvió” da una idea concreta. Una diferencia de 1 punto en la tasa de acierto es 1 problema de cada 100. Los valores de las tareas de este sitio quitan primero lo que se puede acertar al azar y después se pasan a una escala de 0 a 100.

El primero es la contaminación. Si los problemas publicados se cuelan en los textos de entrenamiento, el modelo memoriza las respuestas en lugar de la forma de resolverlos. En un estudio de 2024 que volvió a medir con problemas nuevos hechos a imitación de GSM8K, una colección de problemas de aritmética, algunos modelos bajaron hasta 8 puntos en su tasa de acierto.

El segundo son las condiciones de medida. Incluso en el mismo benchmark, la puntuación cambia si cambian la forma de preguntar o los ajustes. Epoch AI pone ejemplos en los que sus propios valores no coinciden con otros publicados y atribuye la causa a diferencias en los ajustes de la evaluación. Es mejor no comparar tal cual las puntuaciones que anuncian los desarrolladores con las que miden terceros.

Las páginas de cada benchmark de este sitio añaden a los valores un margen ± y agrupan en el mismo intervalo de puestos los modelos cuya diferencia está dentro del margen de error. No decidas quién va por delante solo por el número del puesto: mira primero si la diferencia supera el margen. En las páginas para elegir por uso, según el uso, un benchmark sirve de criterio para ordenar o aparece como columna de referencia.