视觉生成同时需要高层语义知识和细粒度像素细节。Know, then Draw 把二者拆开：自回归预训练负责知识获取，扩散后训练负责高保真渲染。对照实验认定自回归是更强的预训练目标，能同时提高后续渲染的学习效率和最终生成质量。作者还发现，AR 单独生成的质量并不必然对应最终表现，语义质量更关键，因而采用只用语言监督、无图像解码器和重建损失的纯语义 tokenizer。缩放定律显示，自回归预训练会降低拟合的渐近渲染损失，优于从零训练的像素扩散模型。按定律训练的 3B 文生图模型仅用 6600 H100 GPU 小时，GenEval 86、DPG-Bench 87。
预训练目标与语义 Tokenizer
对照实验有两层结论。为下游渲染服务时，自回归预训练强于其他目标，学习更有效，最终质量也更好。但 AR 单独生成的质量并不能可靠预测扩散后训练后的表现，语义质量才是更重要的信号。因此 tokenizer 做成纯语义：只用语言监督，不接图像解码器，也不优化重建损失，避免表示被像素重建拉回。像素保真度交给扩散后训练，从而把「懂」和「画」从目标和表示上切开。
缩放定律与规模验证
作者建立了知识获取与渲染的计算最优缩放定律，并发现自回归预训练会压低拟合的渐近渲染损失，优于从零训练的像素扩散模型。据此训练的 3B 文生图模型只用 6600 H100 GPU 小时，GenEval 86、DPG-Bench 87。材料用这两项分数做规模验证，但未给出同期对比、数据配比或失败案例，宜读作该范式可在相对有限算力下跑通，而不是排行结论。
我的判断
这条路线把知识和渲染显式分工，并用缩放定律约束算力，3B、6600 H100 小时拿到 GenEval 86 与 DPG-Bench 87，对中等规模训练有参考。材料未说明该 tokenizer 对文字渲染、复杂构图或视频的迁移，也没有消融数字与复现配方，分数不能外推到更大模型或其他基准。对已在做自回归加扩散混合的团队，预训练目标和纯语义表示值得对照；缺少实现细节时，更宜当作可检验的假设，而不是现成训练手册。