可靠的机器人操作同时需要语义理解和三维空间中的精确控制。现有视觉-语言-动作(VLA)基础模型,视觉表征大多继承自二维视觉-语言预训练,空间监督往往要到任务特定适配才引入。要把空间理解做成可迁移的基础能力,需要从更广的机器人经验中学习。SLA 把隐式空间对齐做到持续预训练,并在下游后训练中维持;模型从已预训练的 pi05 策略初始化。
持续预训练如何注入空间监督
SLA 联合优化动作预测,以及中间视觉嵌入与冻结三维感知模型空间表征之间的对齐。教师侧在 RGB 之外,还可使用部分可用的深度和相机标定,从而消化异构几何标注。作者整理并统一异构机器人数据,覆盖不同本体、任务与场景。为适应多样性,他们引入依赖特征的门控,自适应聚合多个 VLA 层的视觉嵌入再做空间监督。训练中采用概率状态 dropout,促使模型依赖视觉线索,减轻对演示轨迹的过拟合。辅助组件仅训练时使用,因而可以直接复用预训练 VLA。
它针对的结构性缺口
若空间监督只出现在任务适配,基础模型很难把三维对齐当成可迁移能力。SLA 把对齐写进持续预训练,并强调后训练阶段仍要保持。给定材料未报告数据规模、损失形式和下游指标,异构数据如何统一、pi05 的能力边界也未展开,因此目前只能视为训练设计,而非已量化的性能结论。
我的判断
SLA 把空间对齐从下游补丁前移到持续预训练,并用冻结三维教师、多层特征门控、部分几何标注和状态 dropout 处理机器人数据的异构与过拟合,问题意识和取舍都具体。适用边界同样清楚:依赖三维感知教师与可整理的机器人数据,辅助模块不进入部署;仅有 RGB、无几何标注时能用到什么程度,摘要并未说明。材料在复用预训练 VLA 处截断,且无实验数字,评价应克制——这是一条动机清楚的训练路线,是否真正把空间能力做成可迁移基础,仍取决于完整论文中的规模与下游结果。不宜把它理解成已经解决操作精度或跨本体泛化。