本地解码通常整段固定一种权重精度。本文研究另一种分配:权重存 8-bit,默认用其高 4 bit 解码;仅当低精度输出分布显得不确定(熵高于阈值,或 top-two 间隔过小)时,该步再用完整 8-bit 重做。量化为模拟,模型是 Qwen3-0.6B,基准 GSM8K,成本按每 token 读取的权重字节计。
回放:不确定信号能否标出翻转
在 36724 个回放步骤上,低精度 pass 的熵对 argmax 是否翻转的排序 AUC 为 0.93。15% 升级预算下,熵门抓住 78% 的翻转,margin 门抓住 94%;同等触发率的随机门期望捕获率仅 15%(文中为计算期望,非实测一次随机门)。低精度分布的“不确定”与真正因精度不足而改变 argmax 的步骤对齐较好,回放上 margin 更狠。
在线 150 题:点估计贴近全高,统计未拉开
全高精度 64.0%,全低精度 55.3%(McNemar p=0.053)。熵门约 16% 升级率时得分 62.7%,权重字节约为全高的 0.87。配对差相对全高为 -1.3 分(区间 -8.0 到 +5.3),相对全低为 +7.3 分(0.0 到 +14.7),p=0.080,在线数据尚不能把门控与两端明确分开。同成本模型下,verified speculation 可将 KL 压到零。材料写明未跑:在线随机对照、thinking-mode 相位规则、第二模型,以及在线 KL。
我的判断
价值在于把精度预算押在分布不稳的解码步上,并用权重字节读取量直接度量成本,比整段统一 4-bit 或 8-bit 更细。回放 AUC 与远高于随机的翻转捕获率是主要支撑;在线点估计上熵门贴近全高、优于全低且约 0.87× 字节,方向合理。局限同样清楚:模拟量化、单模型单基准、150 题下区间宽,与全高/全低均未达清晰分离,还缺在线随机门与第二模型。适用边界宜先放在带宽敏感、可接受偶发重算的本地小模型;若当默认推理策略,需要真实量化内核、更大样本与多任务复核。Verified speculation 在相近字节下能到零 KL,也说明“按需升精度”不止熵/margin 一种门控。