多数现代多模态大模型依赖预训练视觉编码器,以获得较强视觉先验。无编码器方案直接从原始像素学习视觉表征,架构更简单、统一,但其缩放行为此前缺少系统刻画。该文比较两类架构的缩放定律,报告三点发现。以下仅依据摘要,不补充未给出的数字与设定。

算力分配与损失前沿

去掉视觉编码器,会把多模态目标的算力最优分配推向更大模型,文本目标的最优分配几乎不变。两类架构在文本目标上的损失—算力前沿几乎重合;多模态目标上则分叉:无编码器模型小规模落后,但被预测约在 10^{22} FLOPs 处追上,且该量级被作者视为仍在实际预训练预算内。摘要未给出追上后是否反超,也无下游分数,「追上」应理解为多模态预训练损失上的外推。

语言模型如何接管编码器

没有视觉编码器时,语言模型通过视觉特异性适应接管其角色:随训练算力增大,视觉 token 间的双向交互越来越有益;视觉处理向更早层迁移;视觉 token 的专家路由更集中。总体结论是,预训练编码器带来的视觉先验优势随规模减弱,无编码器架构被视作有前景的多模态预训练方向。摘要未交代消融与专家配置,机制观察不宜直接当成设计处方。

我的判断

价值在于把「要不要视觉编码器」推到可检验的缩放命题:小规模吃亏,足够算力下可能补上。规划大规模多模态预训练时,不宜只凭小模型结果否定无编码器路线。

边界同样清楚。材料只有预训练损失与机制趋势,没有配方、没有评测全景。10^{22} FLOPs 是外推,交点是否成立取决于数据配比与基线设定,摘要均未展开。更稳妥的读法是:无编码器在大算力下有机会追上,而不是现在就可以扔掉视觉编码器。