连续自回归语音合成需要一个既能稳定做下一步建模、又能保住细粒度声学细节的目标。现有方法多用学得的压缩表示(如连续 VAE latent),依赖复杂神经编码器,生成保真度常被其上限卡住;梅尔谱免训练、无编码器开销,但自回归潜力此前少有人挖。VoxMel 用固定、精确可逆的双轴 Haar 变换,给出一条无分词器的自回归 TTS 路径。

方法:粗层自回归,残差不回灌

Haar 变换先沿频率把梅尔谱分成局部平均与频率残差,再把平均分量沿时间拆成 Coarse-Mel 与时间残差。语言模型骨干加 flow-matching 头自回归生成 Coarse-Mel;非自回归残差层先由 Coarse-Mel 预测时间残差,再在重建的频率平均梅尔上预测频率残差。两类残差都不进入自回归历史,让下一步只预测相对平滑的粗层,细节后置补全。

数据与指标

训练使用 Emilia 的 10 万小时。监督 0.6B 模型在 test-en 上 WER 1.51%、SIM 0.738,在 test-zh 上 CER 1.29%、SIM 0.755。GRPO 后分别为 1.15% WER / 0.753 SIM 与 1.17% CER / 0.776 SIM。摘要在此截断,没有基线、消融和成本数字。

我的判断

这条路线的判断很清楚:与其学一个会损失保真度的编码器,不如用可逆变换给梅尔谱分层。残差不回灌,是为了自回归稳定;可精确反演,理论上不丢信息。0.6B 加 10 万小时能出上述 WER/CER 和 SIM,说明至少能跑通,GRPO 还有增益。材料没有对比系统、实时性或失败模式,因此谈不上已经超过离散 codec 或连续 VAE 方案。更适合作为 tokenizer-free 连续 TTS 的一条技术线索来跟进,而不是产线替换结论。