Qué probar antes de pagar
Lo que hay que probar antes de pagar son las preguntas de tu propio trabajo. Prepara 5–10 preguntas, da las mismas a dos modelos y puntúalas según aspectos fijados de antemano. Por último, compara el resultado con las valoraciones de las páginas por uso. Si solo quieres una primera impresión bastan 3–5, pero si vas a decidir a quién pagar, usa 5–10 para que no te dejes llevar por diferencias casuales.
Las valoraciones públicas resumen resultados con preguntas de otras personas o con problemas comunes. De ahí no se puede deducir del todo cómo rinde un modelo con los textos y las expresiones de tu trabajo. Aunque sean pocas preguntas, si tienes resultados de tus propias pruebas podrás aplicar las cifras de las valoraciones a tu trabajo.
Limita la prueba a dos modelos. Si comparas tres o más a la vez, aumenta el trabajo de puntuar y cuesta recordar las diferencias. Mira las valoraciones y los precios en las páginas por uso, elige los dos entre los que dudas y empieza.
Elige 5–10 preguntas de tu propio trabajo
Elige las preguntas entre las cosas que de verdad quieres pedir en tu trabajo diario. Mezcla fáciles y difíciles, y que sean preguntas cuya respuesta puedas comprobar tú mismo. Si no sabes si una respuesta es correcta, no puedes decidir cuál es mejor.
- Incluye tanto preguntas cortas como peticiones de leer materiales largos
- Incluye al menos un texto en japonés en el que importen el lenguaje honorífico y las expresiones
- Incluye una petición que antes no salió bien
Por ejemplo, en un trabajo comercial serían preguntas como “saca de esta acta las 3 próximas tareas”, “escribe un correo cortés para avisar a un cliente de un retraso en la entrega” o “comprueba si el total de este presupuesto es correcto”. En todas puedes juzgar tú mismo si la respuesta es buena.
Una vez escrito el texto de la pregunta (el prompt), no lo cambies. Si cambias la redacción, no sabrás si la diferencia en las respuestas se debe al modelo o al texto. Escribe también, antes de probar, en 1–2 líneas qué condiciones debe cumplir una buena respuesta. Si fijas las condiciones después de ver las respuestas, te dejarás llevar por la primera que leíste.
Da las mismas preguntas a dos modelos
Da a los dos modelos exactamente la misma pregunta, palabra por palabra. Empieza una conversación nueva para cada pregunta, para que lo hablado en la anterior no se mezcle con la respuesta. En algunas aplicaciones, la función que recuerda conversaciones anteriores influye en las respuestas, así que conviene desactivarla mientras pruebas.
Si pruebas con la API (la vía para usar un LLM desde un programa), puedes escribir un prompt de sistema (las instrucciones que van antes de la conversación). Usa el mismo en los dos modelos o déjalo vacío en ambos. Si escribes instrucciones solo en uno, las condiciones de la comparación no son iguales.
Al puntuar, oculta los nombres. Pega las respuestas en otro documento y reordénalas hasta no saber cuál es de cada modelo antes de leerlas. La valoración humana de Arena también se recoge con los nombres ocultos, y en octubre de 2026 también ofrece una forma de elegir tú mismo dos modelos y ponerlos lado a lado. Para reordenar es rápido intercambiar columnas en una hoja de cálculo o pedir a otra persona que marque las respuestas con símbolos.
Puntúa exactitud, si sigue las instrucciones, japonés y velocidad
Los aspectos que se puntúan son estos cuatro. Puntúa cada uno con una escala pequeña, como de 0 a 2 puntos, y añade una breve razón de la puntuación.
- Exactitud: si hay errores en los hechos o en los cálculos
- Si sigue las instrucciones: si respetó la longitud, la forma y lo prohibido
- Naturalidad del japonés: si el lenguaje honorífico y las expresiones suenan raros
- Velocidad: si se puede esperar hasta que termina la respuesta
Por ejemplo, en una respuesta en la que le pediste un correo de disculpa, los errores en fechas o importes se miran en la exactitud, y si respetó el número de caracteres pedido se mira en si sigue las instrucciones. La humildad excesiva o los honoríficos poco naturales se miran en la naturalidad del japonés. Si no cuentas el mismo defecto en dos aspectos, la suma de puntos no se desequilibra.
La regla básica es que un modelo que pierde en exactitud no se elige aunque gane en los demás aspectos. En una respuesta con errores, el trabajo de corregirla supera la ventaja de que se lea bien. La velocidad importa si lo usas para conversar, pero importa poco en trabajos que se procesan por lotes. Decide antes qué aspecto pesa más según el uso.
Comprueba las condiciones de la prueba gratuita en la página de precios de cada empresa
El alcance y el número máximo de usos de las pruebas gratuitas los cambia el desarrollador. No memorices las cifras: compruébalas en la página de precios de cada empresa antes de probar. La cuota mensual de una aplicación y el precio por cada millón de tokens de la API son cosas distintas, así que la página que hay que mirar depende de cómo pienses usarlo. Un token es la unidad en la que se divide el texto en trozos pequeños.
En el nivel gratuito, el tratamiento de lo que introduces puede ser distinto del nivel de pago. En octubre de 2026, Google indica en su página de precios que en el nivel gratuito de la API de Gemini usa el contenido introducido para mejorar sus productos y que en el nivel de pago no lo usa. Los textos que no pueden salir de la empresa no se prueban en el nivel gratuito. Reescribe las preguntas de prueba de forma que no importe si alguien las ve.
El tratamiento depende del servicio y del tipo de contrato. Si dudas, lee las condiciones de uso o la página sobre el tratamiento de datos de la vía que vayas a usar antes de introducir nada.
Resumen - Compara los resultados con las valoraciones de la página
Si tu puntuación va en la misma dirección que las valoraciones de la página, puedes entender que esa valoración también vale para tu trabajo. Si va en la dirección contraria, en tu trabajo da prioridad a tus propios resultados. Pero con solo 5–10 preguntas, una diferencia de 1–2 preguntas puede darse por casualidad. Si la diferencia es pequeña, basta con elegir el más barato o el que ya conoces.
Guarda las preguntas usadas y la tabla de puntuación. En la tabla basta con una línea por pregunta con la pregunta, la puntuación de las dos respuestas y lo que observaste. Cuando salga una versión nueva o pienses en cambiar, si las vuelves a poner lado a lado con las mismas preguntas, podrás comparar en poco tiempo. Si das mucho peso al rendimiento en japonés, compara las valoraciones de la página para usar en japonés con tu propia puntuación.