看似合理地说出不是事实的内容
幻觉指 LLM 用看似合理的文字说出不是事实的内容的现象。不存在的书名、错误的数字、对没说过的话的引用等是典型例子。因为文字很自然，读者不容易察觉。
Anthropic 的指南也表示，即使是性能很高的模型，也可能写出与事实不符的文字，或与交给它的资料相矛盾的文字。即使重新选择模型，也不会降到零。
为什么会发生
LLM 挑选作为文本后续最可能出现的词来写。它并不是一边确认是否正确一边写。训练数据中越少见的事情，最可能出现的词越容易偏离事实。
2025 年的一篇论文认为，训练和评测的方式让写出推测比回答不知道更划算，所以幻觉一直存在。因为很多评测的评分方式是，与其把答案空着，不如乱猜着写更能得分。
容易发生的场合与对策
容易发生的是专有名词、数字、日期、引用、训练数据的截止日期之后的事件、资料较少的专业话题。对策如下。
- 提供资料 (用 RAG 让它读手头的文档，从中找出答案)
- 告诉它不知道时可以说不知道
- 让它从资料中原样引用答案的依据，并给出出处
- 重要的地方由人对照原始资料确认
Anthropic 的指南表示，仅仅允许它说不知道，就可能大幅减少错误。在法律、医疗、税务这类错误影响很大的话题上，要请专家确认答案。