Artículos
Artículos explicativos sobre cómo elegir y evaluar LLM
Cómo convivir con las alucinaciones - Reducir las respuestas que no son ciertas
El fenómeno por el que un LLM dice de forma convincente cosas que no son ciertas (la alucinación) no se puede eliminar, pero sí reducir y detectar. Explicamos cómo se produce y en qué situaciones es más probable, las medidas basadas en fuentes, materiales y comprobación humana, y cómo leer la exactitud de los benchmarks.
Cómo crear un conjunto de evaluación para tu trabajo - No decidas solo por las puntuaciones públicas
Usa los benchmarks públicos para acotar y decide al final con problemas de tu propio trabajo. Prepara 20–30 preguntas y la forma de la respuesta correcta, puntúa a mano, mira si la diferencia está dentro del margen de error y repítelo cada vez que cambie el modelo.
Cómo probar y comparar LLM antes de pagar - Decide con tus propias preguntas
Si pruebas y comparas los LLM con preguntas de tu propio trabajo antes de pagar, te equivocarás menos al elegir. Prepara 5–10 preguntas, da las mismas a dos modelos, puntúalas en cuatro aspectos como la exactitud y compáralo con las valoraciones de la página.
Cómo entender las versiones y actualizaciones de los modelos - Por qué cambian las respuestas
Aunque el servicio tenga el mismo nombre, las respuestas cambian porque el modelo que funciona dentro se sustituye por una versión nueva. Explicamos la diferencia entre el nombre del servicio y el del modelo, cómo fijar la versión y cómo leer la fecha de corte de los datos de entrenamiento.
Cómo leer las puntuaciones de los benchmarks - Mira si la diferencia está dentro del margen de error
La puntuación de un benchmark es la proporción de problemas comunes que se resolvieron. Una diferencia de 1 punto equivale a 1 pregunta de cada 100, y si la diferencia está dentro del margen de error se lee como casi igual. Hay que tener cuidado también con el aprendizaje de los problemas (contaminación) y con las diferencias en las condiciones de la prueba.
Cómo elegir un LLM - Cinco pasos a partir del uso
Un LLM no se elige por la clasificación general, sino por el uso que le vas a dar. Decide el uso, lee las valoraciones, filtra por precio y longitud, pruébalo con tus propios textos en japonés y compara dos lado a lado. Con estos cinco pasos se decide el modelo que encaja con tu trabajo.