视觉骨干的进化路线很清楚:从CNN的局部聚合,到ViT的全局交互,再到SSM的输入依赖状态转移,以及处理图像时适配内部学习器的TTT层。计算对每个输入越来越自适应,但支配适应的规则仍主要由训练好的骨干预先规定。VisionHOPE把视觉骨干表述为自修改学习系统:记住什么、如何学习,在一张图内共同演化。作者称这是首个如此表述的通用视觉骨干。
五组记忆沿扫描共演化
它建立在Nested Learning的自指构造上,用五组耦合记忆分别存储内容、生成key与value,并调控学习率与保留。这些记忆随视觉上下文沿每次扫描累积而联合演化,而不是各算各的。
和前几代骨干的差别在于:CNN到TTT提高的是对当前输入的适应程度,适应规则本身仍是训练后写死的。VisionHOPE要让「记什么」和「怎么学」在同一张图里互相改写。扫描既是特征聚合,也是学习系统的一次在线更新。材料未给出各记忆的形状、公式或参数量,共演化只能理解成发生在扫描路径上,而非epoch之间。
自指更新必须加稳定性约束
直接把无约束自指更新接到视觉骨干会不稳定。作者推导了与稳定性匹配的步长控制:对自指注入做soft cap,对保留的记忆转移做spectral clamp,并证明记忆动力学沿每次扫描非扩张。
对二维特征图,他们把Nested Learning的chunk对齐到图像的行与列,并沿四个方向扫描。摘要在此处截断,方向如何组合没有更多信息。非扩张结论也只覆盖单次扫描,不宜外推到多层堆叠或端到端训练。
我的判断
价值主要在问题改写:把视觉骨干从「自适应但规则固定」推进到「图内自修改的学习系统」,并把自指记忆接到二维扫描,还补了步长控制与非扩张证明。对关心SSM、TTT之后架构方向的人,这条表述是清楚的。
材料止于方法。没有精度、开销或消融,不能判断它能否替换现有骨干。五记忆耦合加四向扫描,实现与调参不会轻松;cap与clamp管的是扫描收缩性,不等于更好训或更好泛化。更适合当架构论文来读,看自指如何落到视觉扫描、以及为何不能直接套用Nested Learning。能否成为可部署骨干,要等完整实验。