Hugging Face Daily Papers 于 2026 年 11 月 16 日收录论文《K2-Horizon: A Frontier Fleet of Open Source Language Models》。作者发布六款完全开源的语言模型,规模从 0.9B 稠密模型到 375B-A23B 混合专家模型,面向通用推理与智能体工作,覆盖数学与科学、软件工程、深度研究、办公自动化等场景。材料称,这些模型在智能体与编程基准上领先,或与同规模的强开源模型具备竞争力。

建模:MoVA、softplus 门控与 Uno

为加强推理,作者引入 Mixture-of-Value Attention(MoVA),把混合专家结构用在注意力的 value 投影上,并采用更灵活、有理论动机的 softplus attention gating。36B-A4B 模型同时使用这两项技术,在相同数据上几乎匹配 32B 稠密模型,激活参数约为后者的七分之一。团队还提出 Uno,即无损扩散适配器:不需要单独的草稿模型,解码最高可加速 2.2 倍。摘要未给出更细的速度与显存条件。

开放承诺:LLM360、流水线与约 10T 合成数据

发布遵循 LLM360 对开源的定义,强调透明与可复现。公开范围包括完整开发历史、每一训练阶段的中间检查点、预训练数据、训练日志,以及全部训练、评测和基础设施代码。基础设施方面点名生产级 xLLM 框架(用于稠密与 MoE 训练)和 RL360 强化学习栈。材料特别指出,除数据本身外,还详细发布并记录构建数据的每一条流水线,而这是开源模型发布中最罕见披露的部分。这些流水线产出大约 10T 合成预训练 token,作者据此说明合成数据可以成为预训练的重要组成部分。给定摘要在该句处截断,未提供合成数据的来源构成、过滤标准或与真实语料的配比。

我的判断

K2-Horizon 的可读之处主要有两块。第一块是同数据对照:36B-A4B 用约七分之一激活参数接近 32B 稠密,把 MoE 做到注意力 value 侧并配上 softplus 门控,这是相对干净的效率陈述,但仍缺少完整消融。第二块是开放范围:中间检查点、预训练数据、日志、训练与评测代码、数据流水线按 LLM360 一并放出,对复现训练或审计合成数据管线更有用。适用边界同样清楚。智能体与编程表现只有「领先或有竞争力」一句,不能支撑选型。Uno 的 2.2 倍是最高加速,且绑定无损、无独立草稿模型,落地取决于实现。10T 只是合成 token 总量,摘要截断后看不到质量与风险控制,因此「合成数据可作主要成分」宜视为作者立场,而非已经闭合的实验结论。