面向智能体命令行(CLI)系统,IQuest-Q1 提出稀疏 MoE 基座:总参数 320B,激活 15B。标题将目标直接写成 Advancing Foundation Capabilities for Agentic CLI Systems,能力重心在智能体命令行,而不是泛化聊天。训练分三阶段——稳定高效预训练、细粒度中训、多脚手架与多版本后训练——再用模型合并组合不同专家与检查点,缓解参数更新冲突。作者称模型在编程与通用任务上均有能力,并开源以支持社区研究。材料来自 2026 年 10 月 22 日 Hugging Face Daily Papers 收录的摘要,未含评测数字,下文不外推成绩。

预训练:两段课程加代码,并留下学习率裕度

第一阶段组合 Stable SplitNorm、Muon 与 muP,采用两段式课程,第二段提高编程数据混合比例。两段课程把「先稳住、再加代码」写成可执行顺序,而不是一次把所有领域数据混在一起。摘要写明,安全学习率与最优学习率之间仍保留较宽稳定裕度。这一点具体:提高代码占比时,优化没有被推到失稳边界。

中训、后训练与合并

第二阶段做细粒度中训,扩展跨领域、跨格式的数据配比,并逐步延长上下文。第三阶段将 SFT、领域特化强化学习与 MOPD 用于多种脚手架,整合互补训练信号,加强智能体编程能力。摘要未解释 MOPD,此处不补造定义。模型合并则融合不同阶段的专家与检查点,并减轻参数更新冲突。最终被描述为同时覆盖编程与通用任务的开源模型。

我的判断

IQuest-Q1 对开发者的价值,主要是把 agentic CLI 基座写成可讨论的三阶段配方:15B 激活的稀疏 MoE、课程后半段加代码、中训拉长上下文、后训练跨脚手架,再用合并处理多阶段冲突,并且承诺开源。适用边界也很清楚——面向智能体命令行,不是带分数的评测稿;工具调用、长程任务、推理成本均未出现。局限同样硬:MOPD 只有缩写,脚手架集合与合并效果没有量化。因此,「编程与通用均有能力」只能当作者自评,不能写成已验证领先。若只做通用对话,这条配方的针对性会显得过强;若做 CLI 里的编程代理,则至少值得看权重与脚手架设定。在材料不足的前提下,更稳妥的读法是一份开源训练方案,能力结论留给全文和权重。