トークンは文章を区切った単位
トークンは、LLM が文章を読み書きする時の最小の単位である。モデルは文字をそのまま扱わず、まず文章をトークンの列に置き換えてから処理する。よく使う語は 1 つのトークンにまとまり、長い語や見慣れない語はいくつかの断片に分かれる。
何文字で 1 トークンになるかは、言語とモデルで変わる。英語ではおよそ 4 文字で 1 トークンという目安を、OpenAI と Google がそれぞれ示している。2026 年 10 月時点の Anthropic の説明では、新しい区切り方を使うモデルは、同じ文章を以前のモデルより約 3 割多いトークンに分ける。
日本語の文章を見積もる時の注意
同じ内容を訳しただけでも、言語によってトークンの数は大きく違う。多くの区切り方を比べた 2023 年の研究では、言語の間で最大 15 倍の差が出た。英語の「4 文字で 1 トークン」を日本語の文章にそのまま当てはめると、見積もりが大きく外れることがある。
このサイトの価格の説明では、日本語 1 文字を 1〜1.5 トークンくらい、100 万トークンを文庫本 7〜10 冊分の文章と見ている。どちらも目安なので、正確な数は開発元が用意するトークンを数える機能で確かめる。
料金と長さはトークンで決まる
トークンは料金と長さに共通の単位である。API の費用は、読ませた分 (入力) と書かせた分 (出力) のトークン数に、それぞれの 100 万トークンあたりの値段を掛けて決まる。一度に読める長さもトークンで示されるので、長い文書を渡せるかどうかもトークンの数で判断する。同じ内容でもトークンが多くなる文章は、その分だけ料金が上がり、一度に渡せる量も減る。