Un token es una unidad en que se divide el texto
Un token es la unidad mínima con la que un LLM lee y escribe texto. El modelo no maneja los caracteres tal cual: primero convierte el texto en una secuencia de tokens y después lo procesa. Las palabras frecuentes se agrupan en un solo token, y las palabras largas o poco habituales se dividen en varios fragmentos.
Cuántos caracteres forman un token cambia según el idioma y el modelo. OpenAI y Google dan cada uno como referencia que en inglés unas 4 letras forman un token. Según la explicación de Anthropic a octubre de 2026, los modelos que usan un método de división nuevo dividen el mismo texto en alrededor de un 30 % más de tokens que los modelos anteriores.
Qué tener en cuenta al estimar textos en japonés
Aunque solo se traduzca el mismo contenido, el número de tokens cambia mucho según el idioma. En un estudio de 2023 que comparó muchos métodos de división, la diferencia entre idiomas llegó a ser de hasta 15 veces. Si aplicas tal cual a un texto en japonés la regla del inglés de “4 letras por token”, la estimación puede desviarse mucho.
En la explicación de precios de este sitio se toma un carácter japonés como entre 1 y 1,5 tokens, y un millón de tokens como el texto de 7 a 10 libros de bolsillo japoneses. Las dos cifras son referencias, así que la cifra exacta se comprueba con la función para contar tokens que ofrece el desarrollador.
El coste y la longitud se deciden en tokens
El token es la unidad común del coste y de la longitud. El coste de la API se decide multiplicando el número de tokens de lo que se da a leer (la entrada) y de lo que se pide escribir (la salida) por el precio de cada uno por un millón de tokens. La longitud que puede leer de una vez también se expresa en tokens, así que si se puede pasar un documento largo también se juzga por el número de tokens. Un texto que da más tokens con el mismo contenido cuesta más en la misma medida, y además se puede pasar menos de una vez.