Un método que extrae y pasa lo necesario
RAG (generación aumentada por recuperación) es un método que, antes de que el LLM responda, busca los documentos relacionados con la pregunta, se los da a leer junto con ella y hace que responda basándose en su contenido. El nombre se difundió a partir del artículo de Lewis y otros de 2020. Con solo el conocimiento que el modelo memorizó en el entrenamiento, no puede responder sobre documentos internos ni sobre información aparecida después del entrenamiento. RAG lo compensa pasándole justo antes de responder las partes necesarias.
En la forma habitual de montarlo, los documentos se dividen de antemano en fragmentos pequeños de unos cientos de tokens y se guardan de forma que se puedan buscar por cercanía de significado. Cuando llega una pregunta, se eligen los fragmentos más relacionados y se pasan al modelo junto con la pregunta.
Cuándo usarlo frente a darlo todo a leer
Si los documentos son pocos, es más sencillo dárselos todos a leer sin buscar. Anthropic, en una explicación de septiembre de 2024, indica que si los documentos ocupan menos de 200 000 tokens (unas 500 páginas), basta con meterlos todos tal cual en la instrucción. En ese caso no hace falta un método como RAG. RAG conviene cuando hay más documentos o cuando aumentan a menudo.
Pero leer más no garantiza leer bien. En el estudio de Liu y otros (publicado en 2023), cuando la información necesaria estaba en el medio de una entrada larga, la exactitud de la respuesta bajaba mucho. Ten esto en cuenta también cuando pases enteros documentos largos.
Las dos partes que deciden la calidad de la respuesta
La calidad de las respuestas con RAG depende de dos partes: la que busca y la que lee los documentos recibidos y responde. Si la búsqueda falla, el modelo no puede escribir la respuesta correcta. Anthropic pone ejemplos de cómo al dividir en fragmentos se pierde el contexto. Con solo el fragmento “las ventas crecieron un 3 % respecto al trimestre anterior” no se sabe de qué empresa ni de cuándo se habla. Por eso propone añadir a cada fragmento una explicación del contexto que lo rodea.
“Responder sobre documentos”, en las páginas para elegir por uso, compara la capacidad de la parte que lee y responde, y ordena por la tasa de acierto en una tarea de comprensión de relatos de 120 000 tokens. Lo bien que funcione la búsqueda depende del trabajo de quien monta el sistema.