自回归视频扩散模型能根据新的观测和输入逐帧生成,适合交互式视觉体验,但现有模型往往慢了几个数量级,做不到流畅交互。FastFrames对准推理管线里那些常被当成固定实现细节的步骤:对前沿模型做profiling后发现,VAE解码和KV缓存更新合计占端到端延迟一半以上。作者不再视其为刚需,改用轻量替代,得到一套交互延迟下仍对齐质量的自回归视频扩散模型家族。

延迟先卡在实现细节

关键判断很具体:交互上不去,不只是去噪太重,VAE解码与KV缓存更新已超过一半端到端延迟。FastFrames直接替换这两块。摘要未给出替代模块结构、是否仍走潜空间、缓存如何维护,以及对时序一致性的定量影响,因此不能写成已公开的新骨干。能确认的只有方向:先把被认为动不了的组件计入延迟账,再替换。

两档规模的速度与质量口径

1.3B变体在单块B200上每帧36毫秒,约28 RPS,生成质量对齐一个几乎慢8倍的SOTA模型。14B变体在8卡B200节点上每帧45毫秒,约22 RPS,视觉质量和真实感明显更好。小模型解决单卡可交互,大模型用八卡换同档延迟下的观感。摘要没有对标模型名、评测集和分数,不宜写成全面超过某开源系统;“匹配质量”应限于文中那个近8倍慢的参考。材料也未说明RPS是否包含条件编码等额外开销。

相机与物理条件实时生成

作者展示其可用于相机条件、物理条件视频生成等实时交互,这与按新观测继续出帧的设定一致。材料未说明条件如何注入、36/45毫秒是否含编码端,也没有更长序列、并发或非B200硬件的数据。应用边界按字面理解即可:在所述硬件上,单帧延迟已进入可交互区间。

我的判断

FastFrames的价值是把过半推理延迟从实现细节里翻出来并证明可替换,同时给出1.3B单卡36毫秒、14B八卡45毫秒这类可核对的预算。做相机控制或物理响应演示的人,会觉得这条路线比空泛的加速扩散更可执行。局限也硬:质量对齐没有公开指标,方法细节不足,大模型仍绑在8卡B200,“不牺牲质量”只相对那个近8倍慢的SOTA。更多数字出来前,宜看作系统侧加速,而不是视频生成能力的全面跃迁。