token 是切分文本的单位
token 是 LLM 读写文本时的最小单位。模型不直接处理文字，而是先把文本换成 token 的序列再处理。常用的词合成 1 个 token，长词和不常见的词会分成几个片段。
几个字为 1 个 token，随语言和模型而变。OpenAI 和 Google 分别给出了英语约 4 个字母为 1 个 token 的参考值。按 Anthropic 截至 2026 年 10 月的说明，使用新切分方式的模型，会把同一段文本切成比以前的模型多约 3 成的 token。
估算日语文本时的注意点
即使只是把同样的内容翻译过来，token 的数量也因语言而有很大差别。2023 年一项比较了多种切分方式的研究里，语言之间最多相差 15 倍。把英语的“4 个字母为 1 个 token”直接套用到日语文本上，估算有时会大幅偏离。
在本站关于价格的说明里，把日语 1 个字看作约 1〜1.5 个 token，把 100 万 token 看作 7〜10 本日本文库本的文章。两者都是参考值，准确的数量要用开发方提供的计数 token 的功能来确认。
费用和长度由 token 决定
token 是费用和长度共同的单位。API 的费用，是读入部分 (输入) 和写出部分 (输出) 的 token 数，分别乘以每 100 万 token 的价格而定。一次能读的长度也用 token 表示，所以能否交给模型长文档，也按 token 的数量来判断。即使内容相同，token 多的文本，费用就相应提高，一次能交给模型的量也会减少。