Youtu-Parsing-Omni把文档、图像、音频和视频转换成锚定在空间与时间上的结构化记录,定位是智能体跨模态阅读、定位并引用证据时的感知层。设计可以压成两句:所有模态共用一个编码器,所有任务共用一套Schema。单份5B参数checkpoint在OmniDocBench v1.6上Overall为96.96,论文称为当前最优;在OmniParsingBench上Avg.为75.08,领先全部开源权重模型,优势集中在音频和视频。图表解析Overall为95.02,是对比系统中最好的;化学指纹exact agreement也是对比里最高的。
一个编码器,把融合放进感知
Youtu-Omni-Encoder从预训练语言模型初始化,目的是加强文本阅读,再用共享权重把各模态编码进统一时空坐标系。视频路径只加了少量融合层,让视频帧attend同期音频,跨模态融合和时间对齐因此发生在感知内部,而不是事后拼接。对智能体而言,输出不应是各模态各写一段摘要,而是可以按空间和时间去定位、引用的记录。材料没有给出分块、分辨率、采样率或融合层数,能确认的只有语言模型初始化、共享权重的统一时空编码,以及少量视听融合。
一套Schema,监督跟着模型一起长
十项解析任务被OmniSchema收成同一套输出,后训练因此可以只用一套流程:OmniSchema-Aware On-Policy Distillation(OSAD),按token角色提供跨任务共享目标。每一轮,模型在自己的rollout上训练,token级目标来自一份参考条件化的自身副本,再用训练后权重刷新该副本,解析器与监督信号共同演化。摘要未列出十项任务名称,也未报告数据规模、轮次或外部教师,这些都不能补写。公开结果里,OmniParsingBench的领先集中在音频和视频;文档、图表和化学指纹给出的是相对名次,延迟、长视频和噪声条件均未出现。
我的判断
价值在感知层这个定位:统一编码器减少模态缝,统一Schema让十项任务能走同一套on-policy蒸馏,5B单权重对部署友好。边界同样清楚。目前能核对的数字只有OmniDocBench v1.6的96.96、OmniParsingBench的75.08、图表95.02,以及化学指纹在对比系统中最高;智能体闭环、引用正确率、失败模式,以及OSAD会不会把自身错误蒸馏回去,材料都没有谈。可以把它当作跨模态证据抽取的一条具体路线来看,还不宜写成已经验证完毕的通用agent感知底座。