判断一个视觉语言模型能否操纵身体,难点不只是设计任务,还在于如何解释失败:模型可能选错动作,也可能只是底层控制器失去平衡、撞击障碍或未能完成指令。Hugging Face Daily Papers 于 2026 年 7 月 29 日收录的 HumanCLAW,试图把这两类问题分开。

把决策与运动执行拆开

HumanCLAW 接入现成 VLM,让模型在每一步只发出一个原子技能命令,再由框架将命令转换为不足一秒的连续全身运动。身体仍会受到重力、碰撞等真实物理因素影响,但执行侧的扰动、平衡问题和运动误差会从评测归因中剥离。

这种设计关注的不是模型能否直接生成稳定的关节控制信号,而是它在连续交互中能否判断身体下一步应该做什么。换句话说,评测对象从“决策与控制混合后的最终结果”,收缩为模型逐时刻的动作智能。

识别目标不是主要瓶颈

基于该框架,作者构建了 HumanCLAW-Bench,包含 41 个室内场景中的 1218 个长程、第一视角任务,覆盖寻找、导航和交互。论文测试了九个先进 VLM,没有一个解决该基准;表现最好的模型成功率也只有 16.8%。

摘要给出的诊断是,目标识别并非瓶颈。当前模型更缺乏具身自我感知:它们容易丢失对自身身体状态的追踪,无法稳定判断自己位于何处、是否已经抵达目标,以及是否撞上障碍。这类错误会在长程任务中持续累积。

我的判断

HumanCLAW 的价值在于提供了更清晰的控制变量,让研究者能把失败更有把握地定位到高层动作选择,而不是笼统归咎于“机器人没做成”。它尤其适合比较 VLM 的连续具身决策能力,并分析长程交互中的状态追踪问题。

边界也很明确:它评测的不是完整机器人系统,更不是底层控制能力。16.8% 的结果应理解为特定框架和任务下的动作智能表现,不能直接外推到所有具身场景。摘要也未提供各模型、技能集合及分项结果,因此现阶段更可靠的结论是:即使暂时隔离执行误差,VLM 对自身身体状态的持续理解仍然薄弱。