Saltar al contenido principal

Longitud de contexto

El límite de texto que un LLM puede leer de una vez en una petición, que incluye tanto los documentos que se le dan a leer como la respuesta que devuelve

La longitud de contexto es la cantidad de texto que un LLM puede manejar de una vez en una petición, expresada en número de tokens. También se llama ventana de contexto. No solo cuentan los documentos que se le dan a leer y el historial de la conversación: la respuesta que escribe el modelo también entra en esta longitud. Cuanto más larga, más documentos grandes se pueden pasar enteros, pero tanto las explicaciones de los desarrolladores como la investigación muestran que, cuanto más se da a leer, más baja la exactitud de las respuestas. Además de comprobar que la longitud basta, también importa elegir qué se le da a leer.

Qué significa la longitud que puede leer de una vez

La longitud de contexto es el límite de texto que un LLM puede consultar en una petición. Según la explicación de Anthropic, en ese espacio entran las instrucciones, el historial de la conversación y los documentos adjuntos, y además la respuesta que el modelo escribe en esa petición. No tiene que ver con la enorme cantidad de texto usada en el entrenamiento: equivale a lo que puede tener extendido sobre la mesa mientras trabaja.

La longitud se expresa en número de tokens. A octubre de 2026, las explicaciones oficiales de Anthropic y Google incluyen modelos que manejan un millón de tokens. Según la referencia de este sitio, eso equivale al texto de 7 a 10 libros de bolsillo japoneses.

Más larga no siempre es mejor

Poder recibir un documento largo no es lo mismo que poder leerlo bien. En el estudio de Liu y otros (publicado en 2023), los resultados eran altos cuando la información necesaria estaba al principio o al final del documento, y bajaban mucho cuando estaba en el medio. Esta tendencia no desaparecía ni siquiera en modelos hechos para recibir entradas largas.

Anthropic también explica que, cuantos más tokens se dan a leer, más bajan la exactitud y la capacidad de recordar. Elegir qué se le da a leer es tan importante como el tamaño del espacio.

La condición “Longitud del texto que puede leer de una vez” de las páginas

La condición “Longitud del texto que puede leer de una vez” de las páginas para elegir por uso muestra la longitud de contexto del modelo con K para 1000 tokens y M para un millón. Si eliges un mínimo en las condiciones, los modelos más cortos salen de la tabla. En el uso de responder sobre documentos, de forma predeterminada se filtra a 128K tokens o más. Usa la longitud como condición de si basta o no, y compara la capacidad de lectura en sí con las evaluaciones que miden la comprensión de documentos.

¿Te resultó útil esta página?

Términos relacionados

Usos relacionados