“推理”的两种含义
在 LLM 领域，“推理”一词有两种不同的含义。一种是运行已训练好的模型得出答案 (英语为 inference)。这个词与训练相对，用于“推理的费用”“推理的服务器”等说法，适用于所有模型。Anthropic 的术语表也用这个词来称呼运行模型并返回答案的服务。
另一种是有条理地思考 (英语为 reasoning)。推理模型的“推理”是这一种，指在回答前写出中间的思考，按步骤推导出答案。同样是“推理”，前者说的是运行模型的工作，后者说的是模型的思考方式。
思考越多就越慢越贵
推理模型会在答案之前把思考过程写得很长。按照 Anthropic 的说明，这种思考能提高数学、编程、分析这类复杂任务的成绩。Google 也表示，思考过程对编程、高等数学和数据分析有效。
代价是，思考所用的 token 即使不把思考的文字返回给用户，也会作为输出计费。得到答案的时间也会变长。Google 建议，在查询事实或分类这类简单任务上把思考量调少。Anthropic 也建议，想减少费用和等待时间时，先调低思考量的设置。
页面上的“思考量的设置”
很多推理模型可以通过设置改变思考量。同一个模型，设置越多，思考时间越长，评价越高，但价格也容易越高。
按用途选择的页面把只有思考量的设置不同的同一个模型合成 1 行，使用该页面上数值最高的设置的数值。每个设置的数值可以在比较的表的“思考量的设置”中确认。想便宜又快地使用时，也看看设置较少时的数值再选择。