応答の速さ

応答の速さ (英語では latency) とは、質問を送ってから答えが返るまでの待ち時間を指す。速さは 2 つに分けて見る。1 つは、送ってから最初の 1 字が出るまでの時間である。もう 1 つは、答えが流れ出した後の速さで、1 秒あたりに出るトークンの数で表す。

Anthropic の手引きが分けて説明しているのは、答えを書き終えるまでの全体の待ち時間と、最初のトークンが出るまでの時間である。流れる速さは、これとは別に 1 秒あたりのトークンの数で見るのが一般的である。答えを少しずつ表示する仕組み (ストリーミング) では、最初の 1 字までの時間が体感の速さを大きく左右する。

Anthropic は、速さがモデルの大きさ、プロンプトの複雑さ、モデルを動かす設備などで変わるとしている。主な要因は次の通りである。

• モデルの大きさ (大きいモデルほど遅くなりやすい)
• 推論モデルの考える量 (考える分だけ最初の 1 字が遅れる)
• 入力と出力の長さ (長い資料や長い答えほど時間がかかる)
• 混み具合 (同じモデルでも時間帯で変わる)

OpenAI の手引きは、速くする原則として、出すトークンを減らす、入れるトークンを減らす、呼び出しの回数を減らす、などを挙げている。

対話のように人が待つ使い方では、最初の 1 字までの時間が大事である。大量の文書をまとめて処理する使い方では、1 回ごとの待ち時間より、全体の処理量と価格が大事になる。

用途から選ぶページは、評価の高い順に並べ、価格と条件 (一度に読める長さ、ツール利用など) で絞る。速さは並べ方にも絞り方にも入っていない。速さが大事な時は、自分の質問を何度か送り、待ち時間を測って比べる。