视觉 token 压缩是加速多模态大模型的常用办法，但把预算压到极低时，性能会迅速下滑。已有工作主要做两件事：挑选留下哪些视觉 token，以及针对压缩后的视觉输入做训练适配。这篇论文把问题再往前推一步——一个被严重压缩的 MLLM，应该如何从自身生成所诱导的状态里学习？作者认为这会自然导向 on-policy 自蒸馏：压缩学生在自己的生成轨迹上接受监督，同一模型的全量 token 副本充当信息更丰富的教师。基于这一设定，他们提出训练框架 LT-OPD。
方法：沿学生轨迹做分布监督
学生只用一小部分视觉 token 做 rollout，走出回复轨迹；一份冻结的全量 token 拷贝沿着这些轨迹提供分布监督。视觉证据极少时，on-policy 学习容易不稳，于是加入预算级课程，在训练中逐步降低 token 预算。需要看清的约束是：教师不是另训的更大模型，而是同一套 MLLM 的冻结全量副本；监督绑在学生自己生成的轨迹上，而不是离线示范。摘要没有展开损失形式和课程如何调度，这里不补充。
结果里能直接引用的数字
在 Qwen3.5-4B 上，九个基准、5% 视觉 token 留存时，平均留存性能从 68.6% 提到 82.3%，同一预算下优于训练无关、训练适配和强化学习三类基线。增益可以迁移到 Qwen3.5-9B、GLM-4.6V-9B 和 LLaVA-OV-1.5-4B。效率方面，KV-cache 用量下降 85.2%，prefill FLOPs 下降 85.4%。材料未给出各基准分项、基线名称和绝对分数，因此只转述这些相对留存和加速数字。
我的判断
对做多模态推理加速的人，这篇工作的价值比较具体：它把极低视觉预算从「怎么选 token、要不要再训」推进到「压缩模型如何向自己的生成状态学习」，设定干净，留存率和 KV/prefill 降幅都有数字。适用边界同样窄。目前能确认的是约 5% 视觉 token、上述几款开源模型和九个未点名基准；更极端预算、更长视觉序列、以及和特定 token 选择器怎么组合，摘要没有说。局限也直白：训练开销、课程是否敏感、解码阶段会不会同比例变快、82.3% 相对全量模型还差多少绝对能力，材料都未交代。当作压缩训练思路有用，当工程结论则需要全文。