LLM はなぜ事実でないことを言うのか
LLM (大規模言語モデル) は、事実を調べて答えているのではなく、続きとしてありそうな言葉を選んで文を作っている。そのため、知らないことや覚えのあいまいなことでも、自信のある口調でもっともらしい答えを作る。これをハルシネーションという。
ハルシネーションは、モデルを替えても設定を変えても無くならない。できるのは、起きにくい頼み方をすることと、起きた誤りを見つけることである。起きやすい場面を知っておけば、どこを確かめればよいかが分かり、確かめる手間も減る。
この記事では、起きる仕組み、起きやすい場面、4 つの対策、ベンチマークの正確さの読み方の順に説明する。
次の言葉を予測する仕組みが誤りを生む
LLM は、大量の文章を読んで、ある言葉の次にどの言葉が来やすいかを学ぶ。文の形や言い回しは、何度も出てくるので正しく学べる。一方で、ある人の誕生日のように一度か二度しか出てこない事実は、正しい答えと誤った答えを見分ける手がかりが少ない。
2025 年の論文は、正しい文と誤った文を見分けられない時に、誤りは統計的に避けられないと論じている。さらに、多くの評価は答えが合っていれば点を与え、分からないと答えると 0 点にする。この採点では、当て推量で答えたほうが点が上がるので、モデルは分からない時も答えるように育つ。
つまり、もっともらしい誤りは、作りの欠陥というより、学び方と評価のされ方から自然に出てくる物である。口調の自信は、答えの正しさを表さないと考えておく。
起きやすい場面はどこか
誤りが出やすいのは、文の形では正しさを判断できず、事実そのものを覚えていないと答えられない部分である。
- 固有名詞: 人名や社名、商品名、地名
- 数字: 日付、金額、割合、統計の値
- 引用: 本や論文の題名、法令の条文、URL
- 新しい出来事: 学習データの締め日より後のこと
- 細かい専門の話: 一般向けの文章に少ししか出てこない知識
特に引用は危ない。実在しない論文の題名や、存在しない条文の番号を、それらしい形で作ることがある。一方で、文章の要約や言い換え、構成の提案のように、事実の正しさに頼らない仕事では誤りの害は小さい。頼む仕事のうち、どの部分が事実に頼るかを先に見分けておく。
減らすための 4 つの対策
対策は次の 4 つである。組み合わせるほど誤りは減るが、ゼロにはならない。
- 出典を出させる: 主張ごとに根拠の出典や引用を示させ、根拠の見つからない主張は取り下げさせる
- 資料を渡す: 答えの元になる文書を渡し、その資料だけを使って答えるよう指示する。資料を検索して渡す仕組みを RAG という
- 分からない時はそう言わせる: 「資料に無いことは、分からないと答えてよい」と指示に書く
- 人が確かめる: 固有名詞や数字や引用は、元の資料を開いて確かめる
Anthropic も、分からないと答えてよいと伝えることや、主張ごとに裏づけの引用を示させることを勧めている。同じ質問を何度か出して答えが食い違う部分を探すのも、誤りを見つける手がかりになる。
たとえば社内の規程について聞くなら、規程の文書を貼り、「この文書だけを使って答える。文書に無いことは、分からないと答える。答えの根拠になった文を、文書からそのまま引用して添える」と書く。引用が付いていれば、確かめる時は引用の箇所を開くだけで済む。
法律や医療、税のように誤りの害が大きい質問では、LLM の答えは調べ物の入口として使い、最後は専門家や公式の資料で確かめる。Anthropic も、重要な情報は必ず確かめるよう書いている。
ベンチマークの正確さはどう読むか
ベンチマーク (共通の問題で測る試験) の正答率は、合った問題の割合である。分からないと答えた問題も、誤って答えた問題も、同じく外れとして数えることが多い。この数え方では、当て推量の多いモデルほど正答率が上がりやすい。
事実の正しさが大事な仕事では、正答率だけでなく、誤って答えた割合も見る。答えを分けて採点するベンチマークもある。たとえば 2024 年に公開された SimpleQA は、短い事実の質問への答えを、合った、誤った、答えなかったの 3 つに分けて採点する。正答率が同じなら、誤って答えた割合の低いほうが、確かめる手間の少ないモデルである。
用途のページの評価は、事実でない答えの多さを直接には測っていない。自分の仕事で確かめるなら、答えの分かっている質問を 10 個ほど用意し、誤りの数と「分からない」と答えた数を分けて数える。
まとめ - 事実に頼る部分だけを確かめる
ハルシネーションは、次の言葉を予測する仕組みと、当て推量を得にする評価から生まれる。無くすことはできないので、固有名詞、数字、引用、新しい出来事のように起きやすい部分を見分けて確かめる。答えを使う前に事実に頼る部分に印を付け、その部分だけを元の資料で確かめれば、全文を調べ直すより手間が少ない。
対策は、出典を出させる、資料を渡す、分からないと言わせる、人が確かめるの 4 つである。資料を渡して答えさせる使い方が多いなら、文書を読ませて答えさせるページで、長い文書の読解の評価を確かめる。