MRL 通过联合优化嵌套前缀,让同一套表示支持灵活尺寸,部署时按前缀截断即可。做法有效,但缺少显式约束,不能保证最前面那一段本身是合适的紧凑编码。SpecMRL 重排特征空间以改善前缀读出:用参数导出的谱基、按特征重要性组织,前缀在学到的谱空间中读出,其余仍遵循标准 MRL。MTEB 上,它在所有评估过的缩减维度均优于 MRL,压缩越激进增益越大;一半嵌入维度即可超过全维 MRL。

嵌套优化并不保证前缀好用

MRL 的套娃结构保证截断后仍是合法表示,并不保证前导部分已按信息量排好。联合优化各档前缀,没有显式约束让信息方向占据坐标前端,因此前缀能工作,却未必是该长度下合适的紧凑编码。SpecMRL 把这一问题写成特征空间的组织方式。摘要指出更激进压缩时增益更大,与「原前缀并未优先信息方向」相一致;材料未给出各维度分数,幅度不能外推。

只改读出坐标系

SpecMRL 扩展 MRL 的部分是参数导出、按特征重要性组织的谱基,前缀读出在该谱空间进行,其余遵循标准 MRL。嵌套训练未被替换,替换的是读出坐标系。作者认为学到的谱基能更好地优先信息方向,压缩因此更有效。摘要未说明谱基构造、是否新增参数、推理时是一次固定变换还是随样本变化。能确认的是压缩发生在重排后的谱坐标上。MTEB 只给出比较:所有评估过的缩减维度上优于 MRL,半维超过全维 MRL,从而扩展了 MRL 的性能前沿。无任务分、模型名和维度网格,不能判断收益是否均匀,也不能外推未评估的压缩比。

我的判断

价值在于不推翻 MRL 范式,只把「前缀应当像压缩码」做成按重要性排列的参数谱。半维超过全维若能复现,对多档嵌入部署有直接意义。证据目前停在 MTEB 与摘要,谱基如何从参数得到、额外计算多少均未知。没有分数就无法权衡实现成本,也未讨论谱空间与余弦、点积是否兼容。在细节可核对前,宜视为 MRL 的读出坐标系修正,而不是新的表示学习范式。