LLM は次の言葉を予測するモデル
LLM は、文章の続きとして次に来る言葉を予測するよう、大量の文章で学習させたモデルである。予測を一語ずつ積み重ねると、質問への答えや要約、翻訳の文ができあがる。Anthropic の用語集によれば、前の文脈から次の語を当てる事前学習だけでは、指示にうまく従うモデルにはならない。その後のファインチューニング (追加の学習) で、質問に答える形に整える。
LLM には 2 つの段階がある。大量の文章から言葉のつながりを覚えさせる「学習」と、できあがったモデルを動かして答えを作らせる「推論」である。アプリや API で使うのは推論の段階で、API の費用もこの段階で読ませた量と書かせた量で決まる。
ChatGPT や Claude はサービスの名前
ChatGPT (OpenAI)、Claude (Anthropic)、Gemini (Google) は、LLM を使うアプリやサービスの名前である。名前は同じでも、中で動くモデルは新しいモデルが出るたびに入れ替わる。Anthropic は古いモデルに提供の終了日を決め、後継のモデルへ移るよう案内している。Google の Gemini API には、新しいバージョンが出るたびに指す先が差し替わるモデル名もある。
そのため「どのサービスが賢いか」という問いの答えは、時期によって変わる。比べる時は、その時点のモデルの名前と評価を見るのが確実である。
選ぶ時は用途ごとの評価を見る
LLM の良し悪しは 1 つの数では決まらない。人が答えを見比べて選んだ評価と、共通の問題を解かせたベンチマークでは、測っている力が違う。用途から選ぶページは、用途ごとに並べる基準の評価を 1 つ決め、価格と一度に読める長さを添えて並べている。先に自分の用途を決め、その用途の評価で比べると迷いが少ない。