带音频的视频理解仍是多模态智能的核心难点。Hugging Face Daily Papers 于 2026 年 11 月 19 日收录的报告介绍 WeMM-Video:中英双语全模态基础模型家族,规格覆盖 2B、4B、9B 与 35B-A3B。它把文本、图像、音频和视频放进同一套混合思考框架,并给出两条可核对的相对结论:旗舰 35B-A3B 在全模态视频评测上被作者称为新的开源最高水平,紧凑的 9B 超过更大的开源 Qwen3-Omni-30B-A3B-Instruct。
能力设定与训练管线
模型重心是音视频联合感知与推理,而不是只做静音画面。混合思考包含两种模式:非思考的 instruct 模式用于快速直接作答,思考模式则显式逐步推理。训练使用约 1.2 万亿 token 的多模态语料,先渐进式预训练,再进入多阶段后训练;后训练点名了 multi-teacher OPD、抗重复的 MrDPO 以及 specialist RL。材料没有给出这些方法的定义、损失形式或消融数字,因此只能记作管线标签,不能据此判断各自贡献。
评测表述应如何读
报告称在超过 120 项基准上评估,全模态视频理解与推理表现突出,同时在通用音频、静音视频、图像和文本任务上保持有竞争力的水平。全模态视频一项中,WeMM-Video-35B-A3B 被写成新的开源 SOTA,并称大幅超过 Qwen3.5-Omni-Flash 与 Seed2.0-Mini-0428,同时缩小与 Gemini-3.0-Flash 的差距。摘要未提供分项分数、评测协议、视频时长或输入规格,这些对比只能视为作者声明。团队表示公开模型家族以及评测与复现相关资源,原文在此处截断,公开范围以实际发布为准。
我的判断
这份报告的价值,在于把带声音的视频理解做成可下载的规格梯队,并用 9B 反超更大开源模型,说明开源侧不必只看参数量。适用边界同样清楚:没有延迟、显存、长视频上限和幻觉控制的定量证据;与 Gemini 只是缩小差距,并未声称追平;后训练缩写缺少可复现细节。对中文开发者,更稳妥的做法是把它当作全模态视频基座的候选,在自己的音视频任务上复测,而不是把摘要里的 SOTA 表述直接写成产品指标。