面向流式视频交互的大模型必须同时做两件事:在证据对未来任务是否有用尚不清楚时先把证据留下来,以及在证据足够时主动响应。难点是形成可复用的事实记忆,同时不牺牲实时感知。OneStreamer 把查询无关的证据记录和任务响应放到同一套主动生成过程里联合学习。

主动层级字幕如何当记忆

核心是 Proactive Hierarchical Caption Memory(PHCM)。它生成带时间定位的局部细节字幕,以及对已完成事件的摘要。训练时,流式字幕目标监督模型对已观测视频前缀的解释,要求当下就把事实写下来。推理时,模型生成的记录补全近期视觉窗口,提供可复用的事实上下文,不必回看历史视觉特征。记忆因此是查询无关、文本化的证据,历史信息不靠重放视觉特征来维持。

状态转移、数据与结果

流式输出中重复等待状态容易主导训练。Proactive State Transition Learning(PSTL)在所有输出锚点保留监督,并挑选有代表性的状态变化与状态持续 token,以降低等待状态支配。流式数据合成管线让输出内容和时机与当时可用证据对齐。合成字幕、问答与清洗后的开源数据合并为 OneStreamer-1M,超过一百万条记录、覆盖多样任务。4B 模型在所比较方法中,于全部八项流式视频理解基准上取得最好结果。消融表明保留生成字幕能改进表现,材料未给出具体幅度。

我的判断

价值在于把流式记忆从「存特征再检索」改成「主动写下带时间定位的事实」,并把记录与响应绑在同一生成过程上,更贴近边看边记、边看边答。4B 能在八项基准上相对对比方法全面领先,说明当前评测设定下这条路线站得住。边界同样清楚:材料没有时延、开销和具体分数;合成数据以证据时间对齐为前提,真实长视频事件边界更模糊时,主动记录是否可靠,材料没有验证。消融只支持留下生成字幕有用。值得关注,但不宜把八项全胜读成流式交互已解决。