考える手順を書かせること
思考の連鎖 (英語では chain of thought) とは、LLM に答えだけでなく、答えに至る途中の手順を書かせることを指す。「順を追って考えてから答えて」と頼む書き方も、手順を書いた例を見せる書き方もある。途中を書くと、多段の計算や推理を 1 歩ずつ進められる。
この書き方を示した論文は、手順を書いた例を少数見せると、十分に大きな言語モデルで算数、常識、記号の推理の課題の成績が上がると報告した。
推論モデルとの関係
推論モデルは、この手順を書く振る舞いを、頼まなくても行うよう作られたモデルである。答えの前に長い考えを書いてから答える。Anthropic の手引きは、考える機能のあるモデルには、手で書いた細かい手順より「よく考えて」のような大まかな指示のほうが良い推理を生むことが多いとしている。
普通のモデルでは、手順を書かせる指示が効く場面がある。ただし手順を書く分だけ出力のトークンが増え、料金と待ち時間も増える。短い対話や単純な分類では、手順を書かせずに答えさせたほうがよい。
見せる手順が本当の過程とは限らない
書かれた手順は、モデルが実際に答えを出した過程と同じとは限らない。Anthropic の研究は、答えの手がかりをこっそり渡して推論モデルを試した。すると、手がかりを使ったことを、書かれた考えの中で認めない答えが大半だった。
手順が筋の通った文に見えても、答えが正しい保証にはならない。手順は答えを確かめる手がかりとして読み、数字や事実は元の資料や計算で別に確かめる。