LLM は何を基準に選べばよいか
LLM (大規模言語モデル。文章を読んで答えを書くプログラム) は、何に使うかを先に決め、その用途での評価と価格で選ぶ。どのモデルにも得意な仕事と苦手な仕事があり、総合の順位は自分の仕事の答えにならないからである。プログラムを書かせるのか、長い契約書を読ませるのかで、見るべき評価も払う額も変わる。
手順は次の 5 つである。
- 用途を決める
- その用途の評価を読む
- 価格と一度に読める長さの条件で絞る
- 自分の日本語の文章で試す
- 2 つを並べて比べる
前の 3 つで迷う相手は 2 つか 3 つに減り、後の 2 つで自分の仕事での出来を確かめて決める。
手順 1: 用途を決める
最初に、LLM に任せたい仕事を 1 文で書く。「社内の問い合わせに会話で答える」「英語の論文を読み、要点を日本語でまとめる」のように、何を読ませて何を書かせるかが分かる形がよい。1 回に読ませる長さと、1 日に使う回数も書き添えておくと、手順 3 の見積もりにそのまま使える。
用途が決まると、見るべき評価が決まる。このサイトの用途のページは、用途ごとに並べる基準の評価を変えている。たとえばコーディングのページはコーディングの質問での人の評価で並べ、文書を読ませる用途のページは長い物語の読解の正答率で並べる。
仕事が 2 つあるなら、1 つのモデルで両方をこなせるかを考えるより、仕事ごとに確かめるほうが確かである。会話が得意なモデルが、長い文書の読解でも上位とは限らない。
手順 2 と 3: 評価を読み、価格と長さの条件で絞る
評価には 2 つの種類がある。人の評価は、同じ質問への 2 つの答えを人が見比べて選んだ結果から出す点で、会話や文章の好ましさを映す。ベンチマーク (共通の問題で測る試験) の成績は、正解の決まった問題を解けた割合で、数学やプログラムの正確さを映す。どちらも、差が誤差の範囲ならほとんど同じと読む。ベンチマークの点は、指示文や評価の設定の小さな違いで大きく変わることもあると Epoch AI は説明している。
次に条件で絞る。API (プログラムから LLM を使う窓口) の価格は 100 万トークンあたりの値段で、読ませる量と書かせる量で単価が違う。トークンは文章を細かく区切った単位である。用途のページの価格はこの API の値段で、アプリの月額とは別である。一度に読める長さ (コンテキスト長) は、長い文書を扱う時に効く。画像を読めるか、ツールを使えるかも、用途によっては外せない条件になる。
払える価格の上限を先に決めておくと、評価の数字を見比べて迷う時間が減る。評価の差が誤差の範囲なら、安いほうを選ぶのが基本である。
ChatGPT や Claude はサービス名で、中のモデルは入れ替わる
ChatGPT (OpenAI) / Claude (Anthropic) / Gemini (Google) のような名前は、多くの場合サービスの名前である。中で動くモデルには別の名前があり、開発元が新しいモデルを出すと入れ替わる。たとえば OpenAI は、2025 年 4 月 30 日に ChatGPT の GPT-4 を GPT-4o に置き換えた。その時、GPT-4 は API には残した。Anthropic も Claude を複数のモデルの総称としている。モデルごとに API の名前と、少なくともその日までは提供を続ける日付を載せている。
このため、評価や価格はサービス名でなくモデル名で比べる。同じサービスでも、以前に読んだ評価が中のモデルの評価とは限らない。アプリで選べるモデルと API で使えるモデルが同じとも限らないので、使う窓口で名前を確かめる。
使い分けも用途で考える。1 つのサービスに絞る必要はなく、文章とプログラムで別のモデルを使ってよい。調べ物 (リサーチ) では、Web を検索して出典を示す機能があるかがまず効く。そのうえで、難しい質問での人の評価で並べるとにかく賢いモデルのページで確かめ、答えに付いた出典は自分で開いて読む。
手順 4 と 5: 日本語で試し、2 つを並べて比べる
評価で 2 つか 3 つに絞ったら、自分の仕事の文章で試す。ベンチマークの多くは英語の問題で作られていて、日本語の敬語や言い回しの出来は、日本語の質問での評価か、自分で試すことでしか分からない。
試し方は次のとおりである。依頼は、答えの正しさを自分で確かめられる物を選ぶ。
- ふだんの仕事から 3〜5 個の依頼を選ぶ (簡単な物と難しい物を混ぜる)
- 同じ依頼文を 2 つのモデルに出す
- 名前を隠して答えを並べ、正確さ、指示どおりか、読みやすさを見る
- 答えが出るまでの時間と、使ったトークンの数も書き留める
名前を隠すのは、知っている名前の印象に引っぱられないためである。Arena の人の評価も、名前を伏せた 2 つの答えを見比べて選び、選んだ後に名前を明かす形で集めている。自分の依頼でも同じ形にすると、評価の数字と自分の感じ方を同じ物差しで比べられる。
まとめ - 迷ったら手順 1 に戻る
選ぶ順は、用途、評価、条件、日本語での試し、2 つの比較である。迷いが長引くのは多くの場合、用途がぼやけている時なので、任せたい仕事の 1 文に戻る。
モデルは入れ替わっても、この手順は変わらない。新しいモデルが出た時も、手元に残した 3〜5 個の依頼で同じように並べて比べれば、乗り換えるかどうかを短い時間で決められる。用途のページの評価は週に 1 回取り込み直しているので、見る前に更新日も確かめておく。