物理 AI 不必只在语言里推理。点、边界框和轨迹这类视觉规划,可以直接表示空间目标、预判运动。但自回归视觉语言模型一次只生成一个坐标 token,规划越细、轨迹越长,代价越高。VFlash 提出 Flash Primitive Decoding:利用视觉原语的已知结构联合预测坐标,用轻量 drafter 一次前向生成整段原语。

按原语结构一次解码

VFlash 不把框和轨迹当成普通 token 流。原语的类型、维度和长度已知,drafter 按相应布局一次给出全部坐标,既能覆盖紧凑的框,也能覆盖长且变长的轨迹。关键判断是:空间准不准,并不要求复现自回归模型的精确 token 序列。因此它在标注原语上训练,只要预测结构合法就直接接受,不必和目标 token 对齐。

轨迹误差、速度与下游成功率

在所评估的 2D 与 3D 机器人轨迹任务上,相对自回归解码,VFlash 持续降低预测误差。初步单次 rollout 测量显示,3D 点运动预报的生成大约快 25 倍。以 VFlash 规划为条件的世界动作模型,在四个 MolmoSpaces 任务套件上平均成功率 70.2%,基线为 62.6%。摘要没有给出分项误差、方差或端到端延迟。

我的判断

把视觉规划从逐坐标自回归改成按原语一次解码,针对的是物理 AI 里真实存在的生成瓶颈。摘要里最硬的两个数字是约 25 倍加速,以及 70.2% 对 62.6%。适用边界同样清楚:目前结果只覆盖所评估的 2D/3D 机器人轨迹和 MolmoSpaces 四个套件;自动驾驶仅作为动机出现,没有对应数字。速度来自初步单次 rollout,不能当成系统级延迟。drafter 如何接入主干、结构合法但空间仍偏时如何处理,材料未说明。不强制 token 对齐可以换速度和合法性,但轨迹多样性、与原自回归分布是否一致,摘要没有讨论。下游平均成功率提高约 7.6 个百分点有信号,外推到未评估场景仍需谨慎。