响应速度

响应速度 (英语为 latency) 指从发出问题到返回回答的等待时间。速度要分成 2 个方面来看。一个是从发出到出现第 1 个字的时间。另一个是回答开始输出后的速度，用每秒输出的 token 数来表示。

Anthropic 的指南分开说明的，是写完回答为止的整体等待时间，和出现第 1 个 token 为止的时间。输出的速度一般另外用每秒的 token 数来看。在一点一点显示回答的方式 (流式输出) 下，出现第 1 个字的时间在很大程度上决定了感受到的速度。

Anthropic 表示，速度会随模型的大小、提示词的复杂程度、运行模型的设备等而变化。主要因素如下。

• 模型的大小 (模型越大越容易变慢)
• 推理模型的思考量 (思考多少，第 1 个字就晚出现多少)
• 输入和输出的长度 (资料越长、回答越长，越花时间)
• 拥挤程度 (同一个模型也会因时段而变)

OpenAI 的指南列举了提速的原则，比如减少输出的 token、减少输入的 token、减少调用的次数。

在对话这类有人在等的用法中，出现第 1 个字的时间很重要。在批量处理大量文档的用法中，比起每次的等待时间，整体的处理量和价格更重要。

按用途选择的页面按评价从高到低排列，并可按价格和条件 (一次能读的长度、工具调用等) 筛选。速度既不在排列方式中，也不在筛选方式中。速度很重要时，把自己的问题发几次，测量等待时间来比较。