文章

关于 LLM 的选择与评测的解说文章

如何应对幻觉 - 减少不符合事实的回答

LLM 把不符合事实的内容说得煞有介事的现象 (幻觉) 无法消除，但可以减少并发现它。本文说明其产生的机制和容易发生的场景、靠出处、资料和人工确认的对策，以及如何看懂基准测试的准确性。

公开的基准测试用于筛选，最后用自己工作中的题目来决定。准备 20〜30 道题和正确答案的形式，由人评分，看差距是否在误差范围内，每次更换模型时重做。

付费前用自己工作中的问题试用并比较 LLM，可以减少选错。准备 5〜10 个问题，把同样的问题交给 2 个模型，按正确性等 4 个维度评分，再与页面上的评价对照。

即使是同名的服务，回答也会变，这是因为其中运行的模型换成了新版本。本文说明服务名与模型名的区别、固定版本的方法，以及如何看懂训练数据的截止日期。

基准测试的分数是共同题目中答对的比例。差 1 个百分点相当于 100 道题中的 1 道，差距在误差范围内就看作几乎相同。还要注意题目被学过 (污染) 和测试条件的不同。

选择 LLM 不看综合排名，而看用来做什么。确定用途，阅读评价，按价格和长度的条件筛选，用日语试用，再把 2 个并排比较。通过这 5 个步骤，就能定下适合自己工作的模型。