事実でないことをもっともらしく言う
ハルシネーションとは、LLM が事実でないことを、もっともらしい文で言う現象を指す。実在しない本の題名、間違った数字、言っていない発言の引用などが典型である。文が自然なので、読み手が気づきにくい。
Anthropic の手引きも、性能の高いモデルでも事実と違う文や、渡した資料と食い違う文を書くことがあるとしている。モデルを選び直しても、ゼロにはならない。
なぜ起きるか
LLM は、文章の続きとしてありそうな言葉を選んで書く。正しいかどうかを確かめながら書いているわけではない。学習データに少ない事柄ほど、ありそうな言葉が事実とずれやすい。
2025 年の論文は、学習と評価のやり方が、分からないと答えるより推測を書くほうを得にしているため、ハルシネーションが残ると論じている。多くの評価は、答えを空けておくより当てずっぽうで書いたほうが点が上がる採点になっているからである。
起きやすい場面と対策
起きやすいのは、固有名詞、数字、日付、引用、学習データの締め日より後の出来事、資料の少ない専門的な話題である。対策は次の通りである。
- 資料を渡す (RAG で手元の文書を読ませ、その中から答えさせる)
- 分からない時はそう言ってよいと指示する
- 答えの根拠を資料からそのまま引かせ、出典を示させる
- 大事な所は人が元の資料で確かめる
Anthropic の手引きは、分からないと言うのを許すだけでも誤りが大きく減り得るとしている。法律、医療、税のように誤りの影響が大きい話題では、答えを専門家に確かめる。