Valoración humana

La valoración humana son puntos que salen de los votos de personas que comparan las respuestas de dos modelos a la misma pregunta y eligen la mejor. El ejemplo típico es Arena (antes Chatbot Arena), que pide a los usuarios que elijan sin saber de qué modelo es cada respuesta y revela los nombres de los modelos después de votar. A partir de los votos reunidos, calcula los puntos con un método estadístico llamado modelo de Bradley-Terry, que estima la fuerza a partir del registro de victorias y derrotas.

Su ventaja es que en los puntos entran también cosas difíciles de medir con problemas de respuesta correcta, como la naturalidad del texto o lo clara que es una explicación. Arena también da puntos por campos, como programación, escritura creativa o preguntas en japonés. Las páginas para elegir por uso usan estos puntos por campo según el uso.

Lo que tiene sentido no son los puntos en sí, sino la diferencia de puntos entre dos modelos. La diferencia se puede leer convertida en “la proporción de veces que se elige el modelo de arriba cuando una persona los compara”. En la tabla de conversión de la clasificación Elo del ajedrez, una diferencia de 50 equivale a alrededor del 57 %, una de 100 al 64 % y una de 200 al 76 %. Las páginas de este sitio también convierten la diferencia en proporción con la misma escala, y una diferencia de 0 es mitad y mitad. Con una diferencia de 50, el modelo de abajo también se elige 43 de cada 100 veces.

En la valoración humana también entran manías de los gustos de las personas. Según un análisis de 2024 de quienes gestionan Arena, la longitud de la respuesta era lo que más movía los votos, y el efecto del formato, como títulos o negritas, era menor. Por eso se crearon también puntos que eliminan el efecto de la longitud y el formato, y este sitio usa esos valores. Quien compara no siempre detecta los errores de hecho, así que en los usos que exigen exactitud mira también los valores de los benchmarks.