选择 LLM 应以什么为标准
LLM (大语言模型，读取文本并写出回答的程序) 应先确定用来做什么，再按该用途上的评价和价格来选。因为每个模型都有擅长和不擅长的工作，综合排名并不能回答自己的工作该用哪个。是让它写程序，还是让它读长篇合同，该看的评价和要付的金额都会不同。
步骤有以下 5 个。
- 确定用途
- 阅读该用途的评价
- 按价格和一次能读的长度的条件筛选
- 用自己的日语文本试用
- 把 2 个并排比较
前 3 步会把犹豫的对象减到 2 个或 3 个，后 2 步在自己的工作中确认表现后再决定。
步骤 1：确定用途
首先，用 1 句话写下想交给 LLM 的工作。像“用对话回答公司内部的咨询”“读英语论文，用日语总结要点”这样，写成能看出让它读什么、写什么的形式为好。再顺便写下 1 次要读的长度和 1 天使用的次数，就可以直接用于步骤 3 的估算。
用途确定后，该看的评价也就确定了。本站的用途页面会按用途改变排序所依据的评价。例如编程页面按编程问题上的人类评价排序，让模型读文档的用途页面则按长篇故事阅读理解的正确率排序。
如果有 2 项工作，与其考虑 1 个模型能否兼顾两者，不如按工作分别确认更可靠。擅长对话的模型，在长文档的阅读理解上也不一定排名靠前。
步骤 2 和 3：阅读评价，按价格和长度的条件筛选
评价有 2 种。人类评价是根据人比较同一问题的 2 个回答并作出选择的结果得出的分数，反映对话和文章是否令人满意。基准测试 (用共同的题目来测量的考试) 的成绩是答出有确定答案的题目的比例，反映数学和程序的正确性。无论哪种，差距在误差范围内就看作几乎相同。Epoch AI 说明，基准测试的分数也可能因提示词或评测设置的细微差别而大幅变化。
接下来按条件筛选。API (从程序使用 LLM 的接口) 的价格是每 100 万 token 的价格，让它读的量和让它写的量单价不同。token 是把文本细分后的单位。用途页面上的价格是这种 API 的价格，与应用的月费是两回事。一次能读的长度 (上下文长度) 在处理长文档时起作用。能否读图片、能否使用工具，根据用途也会成为不可缺少的条件。
先定好能付的价格上限，就能减少对比评价数字时犹豫的时间。评价的差距在误差范围内时，选便宜的一方是基本原则。
ChatGPT 和 Claude 是服务名，其中的模型会更替
ChatGPT (OpenAI) / Claude (Anthropic) / Gemini (Google) 这样的名称，很多时候是服务的名称。其中运行的模型另有名称，开发方推出新模型后就会更替。例如 OpenAI 在 2025 年 4 月 30 日把 ChatGPT 中的 GPT-4 换成了 GPT-4o。当时，GPT-4 在 API 中保留了下来。Anthropic 也把 Claude 作为多个模型的总称。它为每个模型列出了 API 名称，以及至少到哪一天为止会继续提供的日期。
因此，评价和价格要按模型名而不是服务名来比较。即使是同一项服务，以前读到的评价也不一定是其中模型的评价。应用里能选的模型和 API 能用的模型也不一定相同，所以要在所用的服务上确认名称。
分开使用也按用途来考虑。没有必要只用 1 项服务，写作和编程可以用不同的模型。在查资料 (调研) 时，首先起作用的是有没有搜索网络并给出出处的功能。在此基础上，再到按难题上的人类评价排序的最聪明的模型页面确认，并自己打开阅读回答所附的出处。
步骤 4 和 5：用日语试用，再把 2 个并排比较
用评价筛到 2 个或 3 个之后，用自己工作中的文本试用。很多基准测试是用英语题目做的，日语敬语和措辞的表现，只能从日语问题上的评价或自己试用中得知。
试用方法如下。请求要选自己能确认答案是否正确的。
- 从平时的工作中选出 3〜5 个请求 (把简单的和难的混在一起)
- 把同样的请求文本交给 2 个模型
- 隐去名称把回答并排，查看是否正确、是否按指令、是否易读
- 也记下得出回答所用的时间和用掉的 token 数
隐去名称，是为了不被熟悉名称的印象牵着走。Arena 的人类评价也是让人比较隐去名称的 2 个回答并作出选择，选完后再公开名称，以这种形式收集的。在自己的请求中也采用同样的形式，就能用同一把尺子比较评价的数字和自己的感受。
总结 - 拿不定主意时回到步骤 1
选择的顺序是用途、评价、条件、用日语试用、比较 2 个。犹豫拖得很久，多数时候是因为用途模糊，所以要回到想交给它的工作的那 1 句话。
模型即使更替，这些步骤也不会变。新模型推出时，用手头留下的 3〜5 个请求同样并排比较，就能在短时间内决定是否更换。用途页面的评价每周重新导入 1 次，所以查看之前也要确认更新日期。