El margen de error es la marca de “casi igual”
El margen de error es la situación en la que la diferencia entre los valores medidos es tan pequeña que se puede explicar por una oscilación casual, de modo que no se puede afirmar cuál está por encima. En las páginas para elegir por uso, las filas cuya diferencia de evaluación con el modelo más barato cabe en el margen de error llevan △. Una fila con △ significa que el precio es más alto pero la evaluación es casi igual. Si la evaluación es parecida, basta con elegir la fila más barata de la tabla.
En las páginas de cada benchmark la idea es la misma: se añade a los valores un margen ± y se agrupan en el mismo intervalo de puestos los modelos cuya diferencia cabe en el margen de error. Por eso el puesto no aparece como un solo número, sino como un intervalo.
¿Por qué oscila la diferencia?
Los problemas de un benchmark son solo una parte elegida de todos los problemas posibles. Cuantos menos problemas hay, más se mueve la puntuación según hayan entrado por casualidad muchos problemas que se le dan bien o no. Es una oscilación de la misma naturaleza que la de una persona que hace dos veces el mismo tipo de examen y saca notas distintas. Un artículo de 2024 sobre la estadística de las evaluaciones recomienda tratar la evaluación como un experimento y mostrar también la diferencia entre dos modelos con su margen de oscilación.
Con la valoración humana pasa lo mismo: cuantos menos votos tiene un modelo, más ancho es el margen ± de su puntuación. También hay formas de reducir la oscilación: Epoch AI pide resolver los mismos problemas muchas veces y saca la media.
Leer el tamaño de la diferencia, no si hay △
Dentro y fuera del margen de error no se separan con una frontera clara. Si la diferencia supera el margen por muy poco, solo se puede decir “probablemente está por encima”, y al volver a medir pueden intercambiarse. Al contrario, aunque esté dentro del margen, la diferencia no tiene por qué ser cero. Si la diferencia es varias veces el margen, se puede considerar una diferencia segura. No decidas solo por si hay △ o no: si miras juntos el tamaño de la diferencia y la diferencia de precio, te equivocarás menos al elegir.