决定回答随机程度的设置
温度 (英语为 temperature) 是决定 LLM 回答的随机程度大小的设置。模型从按出现可能性排列的众多选项中选出下一个词。温度决定是只选可能性高的词，还是也留出选可能性低的词的余地。
Google 的说明把温度定义为选择 token 时的随机程度，并表示温度为 0 时总是选出可能性最高的回答。
低温度与高温度
调低温度后，同一个问题几乎总是返回相同的回答。适合分类、提取、选择题这类正确答案只有 1 个的工作。调高温度后，措辞和想法会有变化。适合文章的出主意和改写这类想从多个回答中挑选的工作。
Anthropic 的 API 说明也建议分析和选择题用接近 0 的值，创作用高的值。不过它也表示，即使把温度调到 0，回答也不一定每次完全相同。
也有不能设置的模型
新的模型中，有的不能改温度。截至 2026 年 10 月，Anthropic 和 Google 都说明，部分新模型不接受温度的指定，或者会忽略它。这时要靠指令的写法，或推理模型的思考量的设置来调整回答。
即使能改温度，也最好先用默认值试，只在随机程度造成困扰时才调低。聊天应用里，用户往往不能改温度。想确认回答的随机程度，可以把同一个问题发几次来比较。