Por qué un LLM dice cosas que no son ciertas
Un LLM (modelo de lenguaje grande) no responde investigando los hechos, sino que forma frases eligiendo las palabras que probablemente vienen a continuación. Por eso, incluso sobre lo que no sabe o recuerda vagamente, crea respuestas convincentes en un tono seguro. Esto se llama alucinación.
Las alucinaciones no desaparecen aunque cambies de modelo o de ajustes. Lo que se puede hacer es pedir las cosas de forma que ocurran menos y detectar los errores que se produzcan. Si conoces las situaciones en las que son más probables, sabrás qué comprobar y te costará menos.
En este artículo se explican, por orden, cómo se producen, en qué situaciones son más probables, cuatro medidas y cómo leer la exactitud de los benchmarks.
El mecanismo de predecir la palabra siguiente genera errores
Un LLM lee una gran cantidad de textos y aprende qué palabra suele venir después de otra. La forma de las frases y las expresiones aparecen muchas veces, así que las aprende bien. En cambio, en un hecho que aparece solo una o dos veces, como el cumpleaños de una persona, hay pocas pistas para distinguir la respuesta correcta de la incorrecta.
Un artículo de 2025 sostiene que, cuando no se pueden distinguir las frases correctas de las incorrectas, los errores son estadísticamente inevitables. Además, muchas evaluaciones dan puntos si la respuesta es correcta y 0 puntos si se responde que no se sabe. Con esta forma de puntuar, responder adivinando sube la puntuación, así que el modelo aprende a responder incluso cuando no sabe.
Es decir, los errores convincentes no son tanto un defecto de diseño como algo que surge de forma natural de cómo aprende el modelo y de cómo se le evalúa. Ten presente que la seguridad del tono no indica que la respuesta sea correcta.
En qué situaciones ocurre más
Los errores aparecen sobre todo en las partes en las que la forma de la frase no permite juzgar si es correcta y solo se puede responder si se recuerda el hecho en sí.
- Nombres propios: de personas, empresas, productos y lugares
- Cifras: fechas, importes, porcentajes y datos estadísticos
- Citas: títulos de libros y artículos, artículos de leyes y URL
- Sucesos recientes: lo posterior a la fecha de corte de los datos de entrenamiento
- Temas especializados y detallados: conocimientos que aparecen poco en textos para el público general
Las citas son especialmente peligrosas. A veces inventa, con una forma verosímil, títulos de artículos que no existen o números de artículos de ley que no existen. En cambio, en trabajos que no dependen de la exactitud de los hechos, como resumir o reformular textos o proponer una estructura, el daño de los errores es pequeño. Distingue antes qué partes del trabajo que pides dependen de hechos.
Cuatro medidas para reducirlas
Las medidas son estas cuatro. Cuantas más combines, menos errores habrá, pero nunca llegarán a cero.
- Pedir fuentes: que indique para cada afirmación la fuente o la cita que la respalda, y que retire las afirmaciones sin respaldo
- Dar materiales: entrega los documentos en los que se basa la respuesta e indica que responda usando solo esos materiales. El sistema que busca materiales y se los da al modelo se llama RAG
- Que diga que no sabe cuando no sepa: escribe en las instrucciones “si algo no está en los materiales, puedes responder que no lo sabes”
- Comprobación humana: comprueba los nombres propios, las cifras y las citas abriendo los materiales originales
Anthropic también recomienda decirle que puede responder que no sabe y pedirle que muestre, para cada afirmación, una cita que la respalde. Hacer la misma pregunta varias veces y buscar las partes en las que las respuestas no coinciden también ayuda a detectar errores.
Por ejemplo, para preguntar por un reglamento interno de la empresa, pega el documento del reglamento y escribe: “Responde usando solo este documento. Si algo no está en el documento, responde que no lo sabes. Añade, citada tal cual del documento, la frase en la que se basa la respuesta”. Si hay una cita, para comprobarla basta con abrir el lugar citado.
En preguntas en las que un error hace mucho daño, como las de derecho, medicina o impuestos, usa la respuesta del LLM como punto de partida para investigar y compruébalo al final con un profesional o con materiales oficiales. Anthropic también indica que la información importante debe comprobarse siempre.
Cómo leer la exactitud de los benchmarks
La tasa de acierto de un benchmark (prueba que mide con problemas comunes) es la proporción de problemas acertados. Los problemas a los que se respondió que no se sabía y los que se respondieron mal suelen contarse igual, como fallos. Con esta forma de contar, cuanto más adivina un modelo, más fácil es que suba su tasa de acierto.
En trabajos en los que importa la exactitud de los hechos, mira no solo la tasa de acierto sino también la proporción de respuestas incorrectas. Hay benchmarks que puntúan separando las respuestas. Por ejemplo, SimpleQA, publicado en 2024, puntúa las respuestas a preguntas breves sobre hechos separándolas en tres tipos: correctas, incorrectas y sin responder. Con la misma tasa de acierto, el modelo con menor proporción de respuestas incorrectas es el que da menos trabajo de comprobación.
Las valoraciones de las páginas por uso no miden directamente cuántas respuestas no son ciertas. Para comprobarlo en tu trabajo, prepara unas 10 preguntas cuya respuesta conozcas y cuenta por separado los errores y las veces que respondió “no lo sé”.
Resumen - Comprueba solo las partes que dependen de hechos
Las alucinaciones nacen del mecanismo que predice la palabra siguiente y de evaluaciones que premian adivinar. No se pueden eliminar, así que distingue y comprueba las partes en las que son más probables, como nombres propios, cifras, citas y sucesos recientes. Antes de usar una respuesta, marca las partes que dependen de hechos y comprueba solo esas en los materiales originales: cuesta menos que volver a investigar todo el texto.
Las medidas son cuatro: pedir fuentes, dar materiales, permitir que diga que no sabe y comprobar a mano. Si sueles dar materiales para que responda, comprueba la valoración de comprensión de documentos largos en la página para que lea documentos y responda.