¿Con qué criterio elegir un LLM?
Para elegir un LLM (modelo de lenguaje grande, un programa que lee textos y escribe respuestas), primero decide para qué lo vas a usar y luego elige por las valoraciones y el precio en ese uso. Cada modelo tiene trabajos que hace bien y otros que hace mal, así que la clasificación general no responde a la pregunta de tu propio trabajo. Lo que conviene mirar y lo que vas a pagar cambian según si le pides escribir programas o leer contratos largos.
Los pasos son estos cinco.
- Decide el uso
- Lee las valoraciones de ese uso
- Filtra por precio y por la longitud que puede leer de una vez
- Pruébalo con tus propios textos en japonés
- Compara dos lado a lado
Con los tres primeros, los candidatos entre los que dudas se reducen a dos o tres, y con los dos últimos compruebas cómo rinden en tu propio trabajo y decides.
Paso 1: decide el uso
Primero, escribe en una frase el trabajo que quieres encargar al LLM. Conviene que se vea qué le das a leer y qué le pides escribir, como “responder en conversación a las consultas internas de la empresa” o “leer artículos científicos en inglés y resumir los puntos clave en japonés”. Si anotas también la longitud de lo que lee cada vez y cuántas veces lo usas al día, podrás usarlo tal cual en la estimación del paso 3.
Cuando el uso está decidido, también queda decidido qué valoración mirar. Las páginas por uso de este sitio cambian la valoración que sirve de criterio para ordenar según el uso. Por ejemplo, la página de programación ordena por la valoración humana en preguntas de programación, y las páginas de usos en los que el modelo lee documentos ordenan por la tasa de acierto en la comprensión de historias largas.
Si tienes dos trabajos, es más seguro comprobar cada uno por separado que plantearse si un solo modelo puede con los dos. Un modelo que conversa bien no tiene por qué estar entre los primeros en la comprensión de documentos largos.
Pasos 2 y 3: lee las valoraciones y filtra por precio y longitud
Hay dos tipos de valoración. La valoración humana es una puntuación que sale de personas que comparan dos respuestas a la misma pregunta y eligen una, y refleja lo agradables que resultan la conversación y los textos. Los resultados de los benchmarks (pruebas que miden con problemas comunes) son la proporción de problemas con respuesta definida que se resolvieron, y reflejan la exactitud en matemáticas y programación. En ambos casos, si la diferencia está dentro del margen de error, se lee como casi igual. Epoch AI explica que la puntuación de un benchmark puede cambiar mucho por pequeñas diferencias en el texto de las instrucciones o en la configuración de la evaluación.
Después, filtra por condiciones. El precio de la API (la vía para usar un LLM desde un programa) es el precio por cada millón de tokens, y el precio unitario es distinto para lo que le das a leer y lo que le pides escribir. Un token es la unidad en la que se divide el texto en trozos pequeños. El precio de las páginas por uso es el de esta API, y es distinto de la cuota mensual de las aplicaciones. La longitud que puede leer de una vez (la ventana de contexto) importa cuando trabajas con documentos largos. Si puede leer imágenes o usar herramientas también puede ser una condición imprescindible según el uso.
Si decides de antemano el precio máximo que puedes pagar, pasarás menos tiempo dudando al comparar las cifras de las valoraciones. Si la diferencia de valoración está dentro del margen de error, elige el más barato: esa es la regla básica.
ChatGPT y Claude son nombres de servicio, y los modelos de dentro cambian
Nombres como ChatGPT (OpenAI), Claude (Anthropic) y Gemini (Google) son, en muchos casos, nombres de servicios. Los modelos que funcionan dentro tienen otros nombres, y cambian cuando el desarrollador lanza un modelo nuevo. Por ejemplo, el 30 de abril de 2025 OpenAI sustituyó GPT-4 por GPT-4o en ChatGPT. En ese momento mantuvo GPT-4 en la API. Anthropic también usa Claude como nombre común de varios modelos. Para cada modelo publica el nombre en la API y la fecha hasta la que, como mínimo, seguirá ofreciéndolo.
Por eso, las valoraciones y los precios se comparan por el nombre del modelo, no por el del servicio. Aunque sea el mismo servicio, una valoración que leíste antes no tiene por qué ser la del modelo que hay dentro ahora. Los modelos que puedes elegir en la aplicación tampoco tienen por qué ser los mismos que puedes usar en la API, así que comprueba el nombre en la vía que vayas a usar.
El reparto de tareas también se piensa por uso. No hace falta quedarse con un solo servicio, y puedes usar modelos distintos para textos y para programas. Para buscar información (investigación), lo primero que importa es si tiene una función que busca en la web y muestra las fuentes. Después, compruébalo en la página de los modelos más inteligentes, que ordena por la valoración humana en preguntas difíciles, y abre y lee tú mismo las fuentes que acompañan a las respuestas.
Pasos 4 y 5: pruébalo con tus propios textos en japonés y compara dos lado a lado
Cuando las valoraciones hayan reducido la lista a dos o tres, pruébalos con textos de tu propio trabajo. Muchos benchmarks se crean con problemas en inglés, y lo bien que un modelo maneja el lenguaje honorífico y las expresiones del japonés solo se sabe por las valoraciones en preguntas en japonés o probándolo tú mismo.
La forma de probar es la siguiente. Elige peticiones cuya respuesta puedas comprobar tú mismo.
- Elige de tu trabajo habitual 3–5 peticiones (mezcla fáciles y difíciles)
- Da el mismo texto de petición a los dos modelos
- Oculta los nombres, pon las respuestas lado a lado y mira la exactitud, si siguen las instrucciones y si se leen bien
- Anota también el tiempo que tarda la respuesta y el número de tokens usados
Se ocultan los nombres para no dejarse llevar por la impresión de un nombre conocido. La valoración humana de Arena también se recoge así: se comparan dos respuestas con los nombres ocultos, se elige una y después se revelan los nombres. Si haces lo mismo con tus propias peticiones, puedes comparar las cifras de las valoraciones y tu propia impresión con la misma vara de medir.
Resumen - Si dudas, vuelve al paso 1
El orden para elegir es uso, valoraciones, condiciones, prueba en japonés y comparación de dos. Cuando las dudas se alargan, en muchos casos es porque el uso está poco claro, así que vuelve a la frase que describe el trabajo que quieres encargar.
Aunque los modelos cambien, estos pasos no cambian. Cuando salga un modelo nuevo, si lo comparas de la misma forma con las 3–5 peticiones que guardaste, podrás decidir en poco tiempo si te cambias. Las valoraciones de las páginas por uso se vuelven a importar una vez por semana, así que comprueba también la fecha de actualización antes de mirarlas.