払う前に何を試せばよいか
払う前に試すのは、自分の仕事の質問である。質問を 5〜10 個用意し、同じ質問を 2 つのモデルに出して、決めた軸で採点する。最後に、その結果を用途のページの評価と見比べる。最初の感触を見るだけなら 3〜5 個でもよいが、払う先を決めるなら、偶然の差に振り回されないよう 5〜10 個にする。
公開の評価は、他の人の質問や共通の問題での結果をまとめた物である。自分の仕事の文章や言い回しでの出来は、そこからは読み切れない。数個の質問でも、自分で試した結果があれば、評価の数字を自分の仕事に当てはめて読めるようになる。
試す相手は 2 つに絞る。3 つ以上を一度に比べると、採点の手間が増え、違いも覚えにくい。用途のページで評価と価格を見て、迷っている 2 つを選んでから始める。
自分の仕事から質問を 5〜10 個選ぶ
質問は、ふだんの仕事で実際に頼みたい物から選ぶ。簡単な物と難しい物を混ぜ、答えの正しさを自分で確かめられる物にする。正しさの分からない質問は、どちらが良いかを決められないからである。
- 短い質問と、長い資料を読ませる依頼を両方入れる
- 敬語や言い回しが大事な日本語の文章を 1 つは入れる
- 過去にうまくいかなかった依頼を 1 つ入れる
たとえば営業の仕事なら、「この議事録から次にやることを 3 つ抜き出す」「納期の遅れを取引先に伝える丁寧なメールを書く」「この見積もりの合計が合っているか確かめる」のような質問になる。どれも、答えが良いかどうかを自分で判断できる。
質問の文 (プロンプト) は、一度書いたら変えない。言い回しを変えると、答えの違いがモデルの違いなのか文の違いなのか分からなくなる。良い答えの条件も、試す前に 1〜2 行で書いておく。答えを見た後で条件を決めると、先に読んだ答えに引っぱられる。
同じ質問を 2 つのモデルに出す
2 つのモデルには、一字一句同じ質問を出す。質問ごとに新しい会話を始め、前の質問のやり取りが答えに混ざらないようにする。アプリによっては、前の会話を覚えておく機能が答えに影響するので、試す間は切っておくとよい。
API (プログラムから LLM を使う窓口) で試す場合は、システムプロンプト (会話の前に置く指示) を書ける。2 つのモデルで同じ物にするか、両方とも空にする。片方だけに指示を書くと、比べる条件がそろわない。
採点の時は名前を隠す。答えを別の文書に貼り、どちらがどのモデルか分からないように並べ替えてから読む。Arena の人の評価も名前を伏せて集めており、2026 年 10 月時点で、2 つのモデルを自分で選んで並べる使い方も用意されている。並べ替えは、表計算の列を入れ替えるか、人に頼んで答えに記号を振ってもらうと手早い。
正しさ、指示どおりか、日本語、速さで採点する
採点の軸は次の 4 つである。どの軸も 0〜2 点のように小さな点で付け、点の理由を一言添えておく。
- 正しさ: 事実や計算に誤りがないか
- 指示どおりか: 長さ、形、禁止事項を守ったか
- 日本語の自然さ: 敬語や言い回しに引っかかりがないか
- 速さ: 答えが出終わるまで待てる長さか
たとえばお詫びのメールを書かせた答えなら、日付や金額の誤りは正しさで、字数の指定を守ったかは指示どおりかで見る。へりくだり過ぎや不自然な敬語は、日本語の自然さで見る。同じ欠点を 2 つの軸で数えないようにすると、点の合計が偏らない。
正しさで負けたモデルは、他の軸で勝っても選ばないのが基本である。誤りのある答えは、直す手間が読みやすさの得を上回る。速さは、会話に使うなら効くが、まとめて処理させる仕事ではあまり効かない。用途に合わせて、どの軸を重く見るかを先に決めておく。
無料の試用の条件は各社の価格のページで確かめる
無料で試せる範囲や回数の上限は、開発元が変える。数字は覚えておかず、試す前に各社の価格のページで確かめる。アプリの月額と、API の 100 万トークンあたりの価格は別の物なので、どちらで使うつもりかで見るページも変わる。トークンは文章を細かく区切った単位である。
無料の枠では、入力した内容の扱いが有料の枠と違うことがある。Google は 2026 年 10 月時点で、Gemini API の無料の枠では入力した内容を製品の改善に使い、有料の枠では使わないと価格のページに書いている。社外に出せない文章は、無料の枠で試さない。試す質問は、人に見られても困らない形に書き換えておく。
どの扱いになるかは、サービスと契約の形で変わる。迷った時は、使う窓口の利用規約やデータの扱いのページを読んでから入力する。
まとめ - 結果をページの評価と見比べる
自分の採点がページの評価と同じ向きなら、その評価は自分の仕事にも当てはまると読んでよい。逆の向きなら、自分の仕事では自分の結果を優先する。ただし質問が 5〜10 個では、1〜2 問の差は偶然でも起きる。差が小さい時は、安いほうか使い慣れたほうを選べばよい。
使った質問と採点の表は残しておく。表には、質問、2 つの答えの点、気づいたことを 1 行ずつ書けば足りる。新しいバージョンが出た時や、乗り換えを考えた時に、同じ質問で並べ直せば短い時間で比べられる。日本語の出来を重く見るなら、日本語で使うページの評価と自分の採点を並べて確かめる。