长视频理解的效率,通常被收成在固定原分辨率下挑选信息量大的帧或视觉 token。这篇工作把问题改成联合分配:单帧分辨率可以拿去换更密的时间覆盖;前端解码延迟取决于候选池大小,而不是最终 token 预算。作者提出免训练、单次前向的 LoHi,把密低分辨率视频流和稀疏高分辨率图像帧,分别接到视觉语言模型已有的视频通路与图像通路。
三项对照结论
作者在多种视觉语言模型和长视频基准上做了实证,摘要里是三条。第一,在匹配 token 预算时,密低分辨率采样优于稀疏原分辨率采样。第二,分辨率敏感任务仍受益于被选出的高分辨率帧。第三,对小时级视频,前端解码在墙钟时间中占主导。这意味着「少采几帧、每帧都用原分辨率」不是唯一合理切法;小时视频的墙钟瓶颈还可能在解码前的候选池,而不在最终送进模型的 token 数。
双通路与两种选帧
LoHi 不训练、只跑一次前向。低分辨率侧走视频通路做密采样,高分辨率侧走图像通路只送少量帧。高分辨率帧有两种选法:LoHi-Anchor 使用编码 I 帧元数据;LoHi-SemDiv 在 CLIP 特征上同时看查询相关性和视觉多样性。材料没有给出分辨率档位、采样密度和各模型分项分数,只能确认它依赖模型原生双通路,选帧可以走编解码元数据或 CLIP。
在三个长视频基准、匹配 token 预算的设定下,LoHi 平均准确率比原分辨率基线高 10.6 个百分点,比此前最强效率方法高 5.2 个百分点;小时级视频上,前端解码延迟最高可降约 7 倍。基准名称、模型名单和延迟测试条件摘要未列,不宜外推。
我的判断
价值在于把长视频效率从「原分辨率下如何挑帧」改成「分辨率、时间密度、前端候选池」一起看,并且用免训练单次前向接到现成通路,改动面相对小。10.6、5.2 个百分点以及最高 7 倍延迟,都只对摘要中的三个基准和对照成立,不能当成通用增益。适用上需要模型同时提供视频通路和图像通路;LoHi-Anchor 依赖 I 帧,LoHi-SemDiv 依赖查询与 CLIP,材料未覆盖无查询或 CLIP 特征不可用的情形。摘要也没有给出失败案例,以及密低分辨率在空间细节任务上会差多少。更稳妥的做法是先在匹配 token 预算下验证密低分是否仍优于稀疏原分辨率,再决定是否拼接双通路。