一类 System-1 决策模型的工作方式很直接:给定状态,对查询指定的选项输出结构化概率决策,一次前向完成,不自回归生成推理轨迹或文本回复。现有评测覆盖任务虽多,却常复用旧基准,测试材料可能被模型事先见过,泛化会被高估。真实决策又往往同时面临长上下文、大选项空间和复杂逻辑依赖,现有基准很少把这三者放在一起。MMDM 正是冲着这组缺口提出的。

基准怎么设计

MMDM 共 5448 道高质量题目,分 16 类任务。题目把新构造任务与基于源材料的重组、改写结合起来,用于单选、多选和软标签决策,并放在新上下文中作答。场景包括智能体状态追踪、工具与技能选择、偏好判断、量规打分等。选项从 2 个到 1024 个,输入最长到 64817 token。设定针对的是旧基准很少同时出现的压力:选项多、上下文长、选项之间还有逻辑牵制。

二十八个模型的落差

作者对 28 个决策模型做了综合定量评估。许多模型在常识类任务上表现尚可,一旦选项相互依赖、决策带约束、或变成多选,分数就明显下滑。材料中的例子是 Perplexity Decider-V1.2:世界知识上的 Hard Single-select Accuracy 为 78.75%,选项逻辑 53.95%,约束规划 47.95%。摘要在最佳 Hard Multi-select 准确率处截断,后续数字材料未给出,这里不补写。

我的判断

MMDM 评的是一次前向的结构化选项决策,和智能体里的状态追踪、工具选择、约束规划对得上。5448 题、16 类、选项最多 1024、上下文最长约 6.5 万 token,足够把常识和难决策分开。适用边界很窄:不评生成质量,也不评逐步推理,不宜给通用大模型排名。公开摘要没有完整多选分数和模型分项表,污染控制也未展开。现有材料下它是有用的评测拼图,不是终局榜。做决策头或策略选择的人值得跟;主业仍是生成式推理的,不必过度解读。