一次能读的长度的含义
上下文长度是 LLM 在 1 次请求中能参照的文字的上限。按 Anthropic 的说明,除了指令、对话的历史和附上的文档,连模型在这一次写出的回答都算在这个框里。它与训练时用的大量文本是两回事,相当于工作时能在手边摊开的量。
长度用 token 数表示。截至 2026 年 10 月,Anthropic 和 Google 的官方说明里都列有能处理 100 万 token 的模型。按本站的参考,这相当于 7〜10 本日本文库本的量。
不一定越长越好
能接收长文档和能正确读懂长文档是两回事。在 Liu 等人的研究 (2023 年公开) 里,需要的信息在文档开头或结尾时成绩高,在中间时大幅下降。即使是做成能接收长输入的模型,这种倾向也没有消失。
Anthropic 也说明,读入的 token 越多,准确度和回想的能力就越低。选择交给模型读什么,和框的大小同样重要。
页面的条件“一次能读的长度”
按用途选择的页面上的“一次能读的长度”,以 K / M token 为单位显示模型的上下文长度。在条件里选了下限,比它短的模型就会从表里去掉。在读取文档并作答的用途里,默认筛选为 128K token 以上。长度要作为够不够用的条件来使用,读的能力本身要用测量文档阅读理解的评价来比较。