公開のベンチマークだけで決めてよいか
公開のベンチマーク (共通の問題で測る試験) は、迷う相手を絞るのに使い、最後は自分の仕事の問題で決める。公開の問題の点は、自分の仕事での出来をそのまま表さないからである。
理由は 3 つある。1 つ目に、公開の問題はモデルに学習されている恐れがある。2 つ目に、公開の問題は他の人が選んだ仕事で、自分の文章や形式とは違う。3 つ目に、点は測り方で動く。Epoch AI は 2026 年 10 月時点で、指示文や評価の設定の小さな違いで結果が大きく変わることがあると説明している。
自分の評価セット (自分の仕事から作った問題と正解の組) は、この 3 つをまとめて避けられる。一度作れば、モデルを選び直すたびに使い回せる。
公開の問題は学習されている恐れがある
ベンチマークの問題と答えは Web に公開されていることが多い。モデルの学習に使う文章を Web から集めると、その問題も混ざり得る。問題を覚えたモデルは、解く力がなくても点が高く出る。これをベンチマークの汚染という。
2024 年の論文では、よく使われる算数の問題と同じ形と難しさで作り直した新しい問題で、一部のモデルの正答率が最大で 8 ポイント下がった。公開の点が高いのに自分の問題で振るわないモデルがあれば、汚染か、仕事の違いのどちらかを疑う。
自分の評価セットは Web に出していないので、モデルが学習している心配がない。評価セットは社外に公開しないことが、その価値を保つ条件になる。社内で共有する時も見られる人を絞り、問題の文を社外の資料や記事に例として載せない。一度外に出した問題は後のモデルの学習に混ざる恐れがあるので、新しい問題に入れ替える。
20〜30 問と正解の形を用意する
問題は 20〜30 問あれば始められる。数問では偶然の差に振り回され、100 問を超えると人が採点しきれない。ふだんの仕事の割合に合わせて選び、よく頼む仕事ほど多く入れる。Anthropic も、評価は実際の仕事の内容に似せ、端の場合も入れるよう勧めている。
- ふつうの依頼を 7〜8 割
- 資料が空や無関係、または長過ぎる依頼を 1〜2 割
- 人でも判断の割れる曖昧な依頼を少し
1 問ごとに、質問の文、渡す資料、正解の形を表に書く。分類なら正しいラベル、抽出なら抜き出すべき項目、文章なら合格の条件 (「300 字以内」「日付を誤らない」など) を書く。正解の形が決まっていない問題は、採点の時に迷い、点がぶれる。
たとえば、問い合わせのメールを「注文」「返品」「故障」「請求」「その他」に分ける仕事なら、実際に届いたメールから 25 通を選び、名前や番号を消してから正しい分け先を書いておく。どれに入るか人でも迷うメールも 2〜3 通入れると、モデルが迷った時にどう答えるかが分かる。
採点は人が行い、差が誤差の範囲かを見る
採点は、正解の形を見ながら人が行う。モデルの名前を隠し、答えを並べ替えてから読む。分類のラベルや数字のように正解が 1 つに決まる問題は、正解と一致した数を数えるだけでよい。
点が出たら、差が誤差の範囲かを見る。誤差の範囲とは、偶然でも生じる程度の差のことである。20〜30 問なら、数問の差は偶然でも起きる。同じ質問を 2 回ずつ出すと、同じモデルでも答えが変わる問題が見つかる。その揺れより小さい差は、ほとんど同じと読む。
文章を書かせる問題は、採点する人によって点が変わりやすい。採点の基準を 3〜4 行に書いて全問に同じ物を当て、できれば 2 人で採点して点の割れた問題を話し合う。1 人で採点する時も、日を置いて半分を採点し直すと、自分の基準のぶれが分かる。
差が小さいと分かったら、評価以外の条件で決める。安いほう、速いほう、手元の仕組みに組み込みやすいほうを選ぶ。差がはっきりしている時だけ、点の高いほうに価格の差を払う意味がある。
モデルが替わるたびにやり直す
評価セットは、作って終わりではない。次の時にやり直す。
- 開発元が新しいバージョンを出した時
- 使っているアプリの中のモデルが替わった時
- 自分の仕事の内容や資料の形が変わった時
やり直すたびに、うまくいかなかった依頼を 1〜2 問足す。古い問題は全部は捨てず、半分ほどを残す。残した問題で前回と今回の点を比べられ、新しい問題で仕事の変化を追える。結果は日付とモデルの名前を付けて表に残す。
問題と正解は 1 つの表にまとめ、誰が見ても同じ手順で採点できる形にしておく。担当が替わっても同じ物差しで比べ続けられ、半年前の結果とも並べられる。
まとめ - 公開の点で絞り、自分の問題で決める
公開のベンチマークは、学習されている恐れがあり、自分の仕事とも違う。用途のページの評価で 2 つか 3 つに絞り、自分の評価セットで決める。問題は 20〜30 問で、正解の形を先に書き、人が名前を隠して採点する。差が誤差の範囲なら、価格や速さで選ぶ。
分類や抽出のように正解の決まった仕事なら、分類と抽出のページで絞った相手を、自分の問題の一致の数で比べると速い。評価セットは公開せず、モデルが替わるたびに同じ問題で並べ直す。