视觉-语言-动作模型通常默认一条流水线:视觉编码器先把感知压成固定表征,动作推理才开始。操作却往往卡在最容易被抽象掉的信号上,比如局部几何、边界、深度和细微状态变化。这篇工作把问题说得很直:策略该不该继承一个固定的视觉终点,还是应该直接接触仍在演化的视觉计算?作者提出 NEO-VLA,一个结构上无编码器的原生视觉-语言-动作框架。
原生结构怎么接像素
图像不再先经过视觉编码器封顶。轻量 patch 卷积层负责切块分词,随后视觉 token 与语言在骨干中共同演化。流匹配动作专家可以从不同深度抽取受指令条件化的视觉表征。改动看起来简单,含义却很硬:动作推理不再被迫站在一个固定视觉终点上,而是沿着整条计算层级取用中间表示。
受控比较里的三条结论
在受控对比中,原生架构优于基于编码器的对照。全量微调能缩小差距,但抹不平;单靠继续放大规模也补不回这条结构差异。逐层探测更刺眼:对动作真正关键的信号,峰值常常出现在最终视觉表征之前。若策略只能看见编码器输出,等于系统性地错过中间层。作者称,在多样操作设定和分布偏移下,NEO-VLA 得到更强、更稳健的控制。合在一起,结论指向具身控制受益于视觉表征的计算层级,而不是某一个固定端点。
我的判断
这篇工作的价值,是把“要不要视觉编码器”从工程习惯改成可检验的结构命题,并用受控比较和逐层探测,把差距钉在层级访问上,而不是笼统归咎于数据或规模。对已经把编码器输出当动作条件默认入口的管线,这是一个值得认真对待的反例。适用边界也很清楚:证据来自操作控制,不能直接外推到只需语义对齐的视觉-语言任务;卷积分词、多层取用和流匹配动作头如何落到真实系统的延迟与标定,摘要并未展开。局限同样明显——我们只看到方向性结论:原生更好、微调缩不完、规模补不回、关键信号偏浅,尚不能据此改产线。更稳妥的读法是:固定视觉终点可能是过强的归纳偏置,中间层值得被动作头看见。