人类评价是由比较的投票得出的分数
人类评价是由人比较 2 个模型对同一问题的回答、选出较好一方的投票得出的分数。代表是 Arena (原 Chatbot Arena)，它在隐去是哪个模型的回答的状态下让用户选择，投票后才公开模型名称。从收集到的投票，用一种叫 Bradley-Terry 模型、从胜负记录推测强弱的统计方法算出分数。
它的长处是，连有正确答案的题目难以测量的文字的自然程度和说明是否易懂，也能算进分数。Arena 还按编程、创作、日语问题等领域分别给出分数。按用途选择的页面，按用途分别使用这些各领域的分数。
分数的差要读作被选中的比例
比起分数本身，2 个模型分数的差才有意义。差可以换算成“人比较时上面的模型被选中的比例”来读。在国际象棋 Elo 等级分的换算表里，差 50 约为 57 %，差 100 为 64 %，差 200 为 76 %。本站的页面也用同样的刻度把差换算成比例，差 0 就是五五开。差 50 的话，下面的模型在 100 次里也有 43 次被选中。
被人的喜好牵着走的局限
人类评价里也会带进人的喜好习惯。按 Arena 运营方 2024 年的分析，回答的长度对投票影响最大，标题和粗体等格式的影响比它小。于是也做出了去除长度和格式影响的分数，本站使用这个值。比较的人不一定能发现事实的错误，所以在需要准确性的用途里，也要一起看基准测试的数值。