组合图像检索(CIR)给定参考图像和修改文本,目标是找回符合修改意图的图像。近期基于多模态大语言模型(MLLM)的方法已有明显进展,但作者认为组合理解仍未被用好。根因是组合查询被直接映射成检索嵌入,监督几乎只靠对比学习,中间没有显式解析预期的视觉修改。
先分解潜变量,再形成检索嵌入
FactEmbed(Factorized MLLM Embeddings)把组合查询理解与判别性嵌入构建拆开。它不再把组合查询直接投影成单个嵌入、也不跳过内部推理,而是使用一组分解潜变量(factorized latents),通过中间的目标想象目标(target imagination objective)模拟预期视觉修改。这一过程鼓励潜变量先落到目标语义上,再形成用于检索的判别性表征。
因子级对比、蒸馏与推理时的两套嵌入
为把分解表征传遍模型,作者优化因子级对比损失,同时将分解表征蒸馏进 MLLM 更深的注意力层。推理为效率仍保留 [EOS] token,在分解潜变量之上建立全局嵌入;同时用均值池化的分解潜变量对短候选列表重排序,额外成本可忽略,因为两套表征会一并产生。摘要在此处截断,未提供损失细节、数据或指标。
我的判断
材料只有动机和机制,没有实验数字,评价必须保守。方法上的判断清楚:CIR 难在「改什么」,直接对比容易跳过组合推理;分解潜变量加目标想象,是在训练中强制补上中间步骤,再用蒸馏和因子级对比把信号送回 MLLM。是否提升检索、蒸馏是否稳定、重排序增益多大,摘要无法回答。摘要信息不足,不宜把机制写成已验证效果。对已用 MLLM 做 CIR 的研究,值得对照是否把查询一步压成向量;工程选型应等全文。它针对组合查询理解不足,并不覆盖通用图像检索的索引与规模问题。