像素空间生成 Transformer 通常一个图像 patch 对应一个 token。要刻画更细的细节,就得增加 token 数,全局注意力的计算随之变贵。作者的观察很具体:更细的细节并不必然需要更多全局通信——低频结构受益于全局交换,高频细节可以在局部建模。基于此,他们提出 SpecSlot,一种像素空间 rectified-flow Transformer,目标是把输出细节与全局注意力序列长度解耦。以下只依据摘要中的机制与数字,不做额外推断。
做法:锚点扩成 DCT 槽,只有最低频进全局
标题中的 Read, Allocate, Route,对应一套角色耦合的 tokenization。每个空间锚点被扩展成多个 slot,每个 slot 分配到一段互不重叠的 DCT 系数频带。锚点密度负责空间采样,频谱细分负责细节带宽,两者不再绑在一起。每个锚点里,只有最低频的那个 slot 参与全局注意力;全部 slot 再在局部交互。于是可以增加频谱细节,而不必拉长全局序列。
模型另有一个 spatial head,给频谱预测叠加一层局部修正。生成状态、预测目标和损失仍留在像素空间,并没有把整条生成过程搬到频谱域。摘要把这条路线称为像素空间生成,而不是把生成目标改到频谱空间。
结果:相对 JiT,FID 相当或更好,算力更低
在 ImageNet-256 上,SpecSlot 的最终 FID 与 FLOPs 匹配的 JiT 对照相当,但收敛更快。在 ImageNet-512 上,相对同一对照 FID 改善 2.84,同时 FLOPs 少 3.9%;相对 JiT-B/16,FID 只差 0.69,成本低 38.2%。文生图设定下,SpecSlot 在 DPG-Bench 上超过 JiT-B/8 达 1.06,前向成本低 40.6%。
摘要没有给出绝对 FID、参数量、训练步数或延迟,也没有消融各项模块的贡献。因此这些数字应读作相对 JiT 对照的报告结果,不宜外推成可复现的完整评测表。
我的判断
SpecSlot 的判断清楚:全局注意力是为低频结构付费的,高频细节不该同步拉长全局序列。对像素空间、rectified-flow 的生成 Transformer,这比单纯靠更密的 patch 拉长序列更对症。价值主要在 tokenization 的角色分工,而不是又报一条孤立的最优成绩。
适用边界取决于那条频谱假设:低频需要全局、高频可以局部。若图像的关键结构本身就在高频,或长程依赖不能被最低频槽传开,这条拆分可能不够。摘要未讨论文字渲染、复杂布局或强文本对齐是否同样成立。局限同样明确:公开材料几乎只有相对 FID 与 FLOPs,缺少绝对指标、显存、耗时和失败案例,工程上还不能当训练配方。现阶段更值得看的是「全局序列不必等于细节分辨率」这一设计,而不是榜上的小数点。