多模态 RAG 面对复杂的多跳问题时,难点不只是找到相似内容,还要识别不同文档、不同模态证据之间的关系。2026 年 7 月 30 日提交至 arXiv 的 DualG-MRAG,尝试把全局结构推理与细粒度证据匹配拆开处理,避免让一张图同时承担两类目标。

单一图结构的粒度矛盾

现有方法多以独立实例为单位做匹配,容易忽略跨模态、跨文档的显式关联。图增强方法虽然能补充结构信息,却会遇到明显的粒度冲突:把细粒度视觉特征全部纳入图中,节点和连接会快速扩张,并引入更多检索噪声;如果只保留粗粒度表示,又可能丢掉回答问题所需的局部证据。

DualG-MRAG 的出发点不是继续寻找统一粒度,而是将职责分离。Macro Graph 用于全局拓扑路由,负责确定证据之间可能成立的结构关系;Micro Graph 则面向精确的局部验证,保留细节匹配能力。这样,细粒度信息不必直接干扰全局搜索,全局结构也不会替代局部证据本身。

从检索结果转向推理路径

论文进一步使用 GNN Retriever,把检索表述为由查询驱动的消息传递过程,使相关性可以在异构证据来源之间动态传播。这意味着候选证据的价值不再只由独立相似度决定,还会受到图中关联证据的影响。

在生成阶段,DualG-MRAG 没有沿用将若干孤立文档块直接交给生成模型的方式,而是加入动态规划解码机制,从 GNN 的前向传播过程中抽取显式推理路径。其目标是为生成模型提供连贯的结构指引,让输入不仅包含“有哪些证据”,还包含“这些证据如何连接”。

我的判断

这项工作的价值在于把多模态图检索中的粒度矛盾转化为架构分工,思路清晰,尤其适合需要跨文档、跨模态、多跳关联的任务。它的适用边界也很明确:如果问题主要依赖单条证据,双层图、GNN 消息传递和路径解码可能增加不必要的系统复杂度。材料未提供具体数据集、指标、计算开销及消融结果,因此目前还无法判断两级图在效果与成本之间是否形成稳定优势,也不能确认显式路径能在多大程度上改善最终生成质量。