¿Se puede decidir solo con los benchmarks públicos?
Los benchmarks públicos (pruebas que miden con problemas comunes) sirven para reducir los candidatos entre los que dudas, y al final se decide con problemas de tu propio trabajo. La puntuación en problemas públicos no refleja tal cual el rendimiento en tu trabajo.
Hay tres razones. Primera, los problemas públicos pueden haber sido aprendidos por los modelos. Segunda, los problemas públicos son trabajos elegidos por otras personas, distintos de tus textos y formatos. Tercera, la puntuación se mueve según cómo se mide. En octubre de 2026, Epoch AI explica que pequeñas diferencias en el texto de las instrucciones o en la configuración de la evaluación pueden cambiar mucho los resultados.
Tu propio conjunto de evaluación (pares de problemas y respuestas correctas creados a partir de tu trabajo) evita las tres cosas a la vez. Una vez creado, puedes reutilizarlo cada vez que vuelvas a elegir modelo.
Los problemas públicos pueden haberse aprendido
Los problemas y las respuestas de los benchmarks suelen estar publicados en la web. Cuando se reúnen en la web los textos para entrenar un modelo, esos problemas pueden colarse. Un modelo que ha memorizado los problemas saca una puntuación alta aunque no sepa resolverlos. Esto se llama contaminación de benchmarks.
En un artículo de 2024, con problemas nuevos rehechos con la misma forma y dificultad que unos problemas de aritmética muy usados, la tasa de acierto de algunos modelos bajó hasta 8 puntos. Si un modelo tiene una puntuación pública alta pero rinde mal con tus problemas, sospecha de la contaminación o de la diferencia de trabajo.
Tu conjunto de evaluación no está en la web, así que no hay que preocuparse de que el modelo lo haya aprendido. No publicar el conjunto de evaluación fuera de la empresa es la condición para que conserve su valor. También al compartirlo dentro de la empresa, limita quién puede verlo y no pongas el texto de los problemas como ejemplo en materiales o artículos externos. Los problemas que ya salieron fuera pueden colarse en el entrenamiento de modelos futuros, así que sustitúyelos por problemas nuevos.
Prepara 20–30 preguntas y la forma de la respuesta correcta
Con 20–30 preguntas ya se puede empezar. Con unas pocas te dejarás llevar por diferencias casuales, y con más de 100 una persona no puede puntuarlas todas. Elígelas según la proporción de tu trabajo habitual y pon más de los trabajos que pides más a menudo. Anthropic también recomienda que la evaluación se parezca al contenido del trabajo real e incluya casos límite.
- Un 70–80 % de peticiones normales
- Un 10–20 % de peticiones con materiales vacíos, que no vienen al caso o demasiado largos
- Unas pocas peticiones ambiguas en las que hasta las personas dudarían
Para cada pregunta, anota en una tabla el texto de la pregunta, los materiales que se dan y la forma de la respuesta correcta. Para una clasificación, la etiqueta correcta; para una extracción, los elementos que hay que extraer; para un texto, las condiciones para aprobar (“300 caracteres como máximo”, “sin errores en las fechas”, etc.). Si la forma de la respuesta correcta no está fijada, dudarás al puntuar y la puntuación oscilará.
Por ejemplo, para el trabajo de clasificar correos de consulta en “pedido”, “devolución”, “avería”, “facturación” y “otros”, elige 25 correos que hayan llegado de verdad, borra nombres y números y anota la categoría correcta. Si incluyes también 2–3 correos en los que hasta una persona dudaría, sabrás cómo responde el modelo cuando duda.
Puntúa a mano y mira si la diferencia está dentro del margen de error
La puntuación la hace una persona mirando la forma de la respuesta correcta. Oculta los nombres de los modelos y reordena las respuestas antes de leerlas. En los problemas con una única respuesta correcta, como etiquetas de clasificación o números, basta con contar cuántas coinciden con la respuesta correcta.
Cuando tengas las puntuaciones, mira si la diferencia está dentro del margen de error. El margen de error es la diferencia que puede producirse por azar. Con 20–30 preguntas, una diferencia de unas pocas puede darse por casualidad. Si haces cada pregunta dos veces, encontrarás problemas en los que incluso el mismo modelo cambia de respuesta. Una diferencia menor que esa variación se lee como casi igual.
En los problemas en los que se pide escribir un texto, la puntuación cambia fácilmente según quién puntúe. Escribe los criterios en 3–4 líneas, aplica los mismos a todas las preguntas y, si puedes, puntúa entre dos personas y comentar juntos los problemas en los que no coincidan. Si puntúas tú solo, vuelve a puntuar la mitad unos días después y verás cuánto oscilan tus propios criterios.
Si ves que la diferencia es pequeña, decide por condiciones distintas de la evaluación. Elige el más barato, el más rápido o el que sea más fácil de incorporar a tus sistemas. Solo cuando la diferencia es clara tiene sentido pagar la diferencia de precio por el de mayor puntuación.
Repítelo cada vez que cambie el modelo
Un conjunto de evaluación no termina cuando se crea. Repítelo en estos casos.
- Cuando el desarrollador lance una versión nueva
- Cuando cambie el modelo de dentro de la aplicación que usas
- Cuando cambie el contenido de tu trabajo o la forma de los materiales
Cada vez que lo repitas, añade 1–2 peticiones que no salieron bien. No tires todos los problemas antiguos: conserva más o menos la mitad. Con los que conservas puedes comparar la puntuación de la vez anterior y la actual, y con los nuevos puedes seguir los cambios del trabajo. Guarda los resultados en una tabla con la fecha y el nombre del modelo.
Reúne los problemas y las respuestas correctas en una sola tabla, de forma que cualquiera pueda puntuar con los mismos pasos. Aunque cambie la persona responsable, se podrá seguir comparando con la misma vara de medir, y también ponerlo al lado de los resultados de hace medio año.
Resumen - Acota con las puntuaciones públicas y decide con tus problemas
Los benchmarks públicos pueden haber sido aprendidos y además son distintos de tu trabajo. Acota a dos o tres con las valoraciones de las páginas por uso y decide con tu propio conjunto de evaluación. Son 20–30 preguntas, se escribe antes la forma de la respuesta correcta y una persona puntúa con los nombres ocultos. Si la diferencia está dentro del margen de error, elige por precio o velocidad.
En trabajos con respuesta correcta definida, como la clasificación o la extracción, es rápido acotar candidatos en la página de clasificación y extracción y compararlos por el número de coincidencias en tus propios problemas. No publiques el conjunto de evaluación y, cada vez que cambie el modelo, vuelve a ponerlos lado a lado con los mismos problemas.