System One 模型承诺快速、通用的决策,不必经过冗长的 token 生成。现有评测往往只给总分,对能力覆盖有多宽、决策是否靠得住,信息有限。SO-Arena 针对这一点,在 11 个领域、五类能力家族上同时刻画能力谱与决策可靠性,并评估了 21 个模型。摘要里最硬的对照是:缩放和额外推理的收益随领域变化很大;总体表现最好的 System One 模型,可靠性只排第七。
能力谱:核验标签、拆开难度、沙箱交互
能力侧强调证据落地。评测使用可靠来源,并对参考标签与模型可见输入做人工核验,减少标答并不在输入中的错位。难度按领域各自标准划分,而不是一把尺子打全部任务。交互场景中,模型在沙箱里迭代执行动作,而不是一次性交卷。推理较重的任务还可以用来对比 System One 与 System Two。材料未列出 11 个领域和五类能力的具体名称,这里不作补充。
可靠性:选项扰动与缺答识别
准确率之外,可靠性用两项互补指标:选项集合受控变化时决策是否稳定;没有合法选项时,模型能否识别缺答而不是硬选。21 个模型的结果指向两件事。扩大规模和追加推理带来的好处,在不同领域差异很大;强总体表现并不等于可靠决策,表现最好的 System One 模型可靠性仅排第七。摘要在「这些发现凸显了……的必要性」处中断,没有写出后续主张,不宜臆补。
我的判断
价值在于把「选得对不对」和「选得稳不稳」拆开。对少生成、重决策的上线场景,这比再刷一个总分更有用。边界同样清楚:它针对 System One 设定,不能直接当成通用大模型排行榜。目前只有摘要,领域清单、能力家族定义、模型名单和分差都未给出,能站住的结论只到总分与可靠性可能错位、缩放收益因领域而异。缺答识别和选项扰动方向对,但缺少题目构造细节,暂时无法判断难度是否被抬高。开发者能带走的是一份检查清单:上线前除准确率外,还要看选项扰动下会不会改口,以及无解时会不会硬答。