低比特量化能降低 LLM 智能体的推理成本,却常常牺牲任务成功率。SteerDistill 从失败轨迹入手:量化智能体容易忽略任务要求或环境条件,环境转移随之偏离全精度成功参考。离线数据可能错过学生真正失败的上下文,学生自己的 rollout 在那些上下文里又很少给出正确回复,纠偏因此很难。论文用全精度教师指导学生改写失败回复,并根据执行反馈迭代调整指导,再把纠正内化,使推理不再依赖教师。
失败出在漏看要求与环境条件
作者检查失败 rollout 后认为,量化智能体漏看任务要求或环境条件,走出与全精度成功轨迹不同的转移。纠正这类行为偏差有两难:离线数据可能完全覆盖不到学生的失败上下文;学生自身 rollout 在那些上下文中正确回复很少。两端都难以提供可靠监督。摘要把问题落在行为与环境转移的偏离,而不是另给一套未报告的数值成因。
闭环转向后再内化成独立学生
SteerDistill 是量化感知蒸馏。全精度教师引导学生改写失败回复,再用学生执行反馈迭代调整指导,闭环教师转向得到局部验证过的行为纠正。内化时去掉指导:在被纠正的回合,学生匹配已被转向之学生的预测;在其余回合,匹配全精度教师的预测。训练完成后可无辅助推理。要点是纠正落在失败回合、并经学生执行验证,而不是用教师轨迹整体覆盖学生策略。
摘要给出的对比数字
实验覆盖五个智能体基准、三个模型。W4A16 下,SteerDistill 平均分超过最强量化基线 1.67–2.18 分,并与 BF16 相差不到一分。在 τ²-Bench 上,成功率比 QeRL 高 1.84 个百分点,训练 GPU 小时少 67%,成功轨迹短于量化基线。摘要未列出基准名称、模型列表、闭环轮次和超参,不能外推到未报告的比特位或非智能体任务。
我的判断
价值在于把量化损失写成可定位的行为偏移,并用执行反馈做局部验证,比离线蒸馏固定教师输出更贴近智能体交互。适用边界很窄:需要可交互环境和全精度教师,训练包含闭环 rollout,不是纯权重量化工具。局限首先来自材料:只有摘要,未见失败类型占比、五个基准与三个模型分别是什么,也没有消融。平均分优势 1.67–2.18、距 BF16 不到一分,说明报告设定下接近全精度,但幅度有限;τ²-Bench 相对 QeRL 高 1.84 个点、训练 GPU 小时少 67% 更有信息量,前提是对比协议一致。成功轨迹更短是附带观察,摘要未解释原因。对要在 W4A16 部署智能体、能负担教师闭环的团队,值得读全文核对;对静态压缩或没有环境反馈的场景,这条方法用不上。