「推論」の 2 つの意味
LLM の分野で「推論」という語は、2 つの別の意味で使われる。1 つは、学習を終えたモデルを動かして答えを出すこと (英語では inference) である。学習と対になる語で、「推論の費用」「推論のサーバー」のように使い、どのモデルにも当てはまる。Anthropic の用語集も、モデルを動かして答えを返すサービスをこの語で呼んでいる。
もう 1 つは、筋道を立てて考えること (英語では reasoning) である。推論モデルの「推論」はこちらで、答える前に途中の考えを書き出し、手順を踏んで答えを導くことを指す。同じ「推論」でも、前者はモデルを動かす作業の話、後者はモデルの考え方の話である。
考える分だけ遅く高くなる
推論モデルは、答えの前に考えの過程を長く書く。Anthropic の説明では、この考えによって数学やコーディング、分析のような複雑な課題の成績が上がる。Google も、考える過程がコーディングや高度な数学、データの分析に効くとしている。
その代わり、考えた分のトークンは、利用者に考えの文が返らない場合でも出力として請求される。答えが出るまでの時間も延びる。Google は、事実を調べる質問や分類のような簡単な課題では、考える量を少なくするよう勧めている。Anthropic も、料金や待ち時間を減らしたい時は、まず考える量の設定を下げるよう勧めている。
ページの「考える量の設定」
多くの推論モデルは、考える量を設定で変えられる。同じモデルでも、設定を多くするほど考える時間が長くなり、評価が上がる代わりに値段も上がりやすい。
用途から選ぶページは、考える量の設定だけが違う同じモデルを 1 行にまとめ、そのページで値がいちばん高い設定の値を使う。設定ごとの値は、比べる表の「考える量の設定」で確かめられる。安く速く使いたい時は、少ない設定の値も見て選ぶとよい。