不同模态上训练的模型会不会学到同一套世界表征,是多模态研究的核心问题。柏拉图表征假说猜想它们会随规模收敛,但没有证明,既无保证也无配方。这篇论文把假说写成定理:分别训练的JEPA在「好视角」下学到至多差一个旋转的同一表征;下一词预测则被解释成差视角JEPA,因而与视觉对齐依赖规模。

定理约束的是正对,不是联合训练

柏拉图表征定理说:在任意数量模态上独立训练联合嵌入预测架构(JEPA),只要正样本对是同一场景的两次观测(好视角),表征相同、至多差一个旋转;否则错位有界。定理不要求多模态一起训,只要求正对来自同一场景。

下一词预测被放进同一框架:它仍是JEPA,正对却是同一文档的片段,属于差视角。材料用这一点解释语言模型为何通常要靠做大才能与视觉对齐——规模在补视角,而不是对齐本身的充分条件。

样本效率与对齐数字

验证从14.5万条caption做到9.4亿张网络图像对应文本,并对齐存在缩放律,对未见训练run的预测落在种子噪声内。同一语料上,好视角达到同等对齐所需样本约为下一词预测的四十二分之一。1.09亿参数文本JEPA与DINOv2、CLIP图像编码器的对齐,优于评测过的全部语言模型(最大720亿),也优于CLIP文本编码器。材料称下一词预测通往该表征显著低效。一次旋转把分别训练的编码器接成图像描述器,COCO CIDEr为0.838。摘要末句不完整,不引用。

我的判断

价值是把跨模态对齐收成可检验的正对条件,四十二倍样本差足以改实验优先级。边界要写死:结论绑定JEPA与文中好/差视角,不能外推到任意自监督或生成目标;优于720亿模型只指与特定视觉编码器的表征一致,不是语言能力全面更强;CIDEr 0.838只说明旋转接口可工作。若目标是表征重合,好视角JEPA值得对照下一词预测;若目标是通用语言能力,材料没有提供替代理由。