视觉语言模型同时消化图像与文本,但最终生成的文字并不能告诉我们:内部到底表征了哪些概念、这些概念何时对后续计算可见。全局工作空间理论(GWT)给出一套对照:信息从并行过程中被选出,在共享工作空间里整合,再广播给专门化模块。这项工作把这一套说法落到 VLM 的概念处理上,提出 Multimodal Concept Lens(MC-Lens),即一种多模态 Jacobian 透镜。视觉编码器透镜与语言解码器透镜,分别把各模态中间状态映射到由解码器输出词表定义的共享语义空间,从而可以在同一套词汇坐标里比较概念可及性;该方法还支持对内部概念做干预,用来检查被访问到的概念是否真正进入下游计算。

概念可读,且按任务选择

摘要给出的第一组观察是可及性与选择性访问。多模态概念信息能够从中间状态中读出,并且会随任务需求被选择性地访问:不是层里有什么就一律可用,而是任务需要什么才更容易被拿到。作者把以往的读出载体从单个名称 token 扩展到一组 token,目的是更完整地捕捉和表达概念信息,并为反事实实验提供操作把手。

被访问的概念会进入推理

第二组观察来自反事实干预:已被访问的概念信息会参与下游计算与推理。这意味着探针读到的不只是相关痕迹,而是一条可以扰动、并能改变后续计算的通路。第三组观察转向训练过程。作者设计了两种 J-space 指标,在受控的 VLM 训练中追踪跨模态概念对齐的发展,并称其比直接比较隐藏状态余弦更清楚。同一实验还涉及选择性访问如何变得可靠,但给定摘要在此处截断,材料不足以描述训练阶段或任何阈值,这里只记录作者提出了这类指标、并认为优于余弦。

我的判断

贡献在于把 GWT 的选择、整合、广播,翻译成可在 VLM 上实施的读出与干预协议。共享词表空间让视觉与语言中间态可以并排比较;token 集合读出降低了单 token 的偶然性;反事实实验用来区分能读到和真的在算。局限同样明确:当前材料只有方法框架和定性结论,没有模型规模、任务类型、干预幅度或任何数字;J-space 相对余弦的优势、选择性访问的可靠标准,都无法核实。标题中的 Conscious 容易被过度解读,摘要讨论的是概念可及与选择,并不是意识判据。适合作为内部机制研究的一条线索,不适合当成模型已具备全局工作空间或可解释保证的证据。