视觉语言模型正越来越多地被用来替代人类标注员，因此可替代性测试必须真正反映模型，而不是评测时附带的条件。这篇工作引入MIST（Misleading-Image Stress Test）：200条英语句子，每条围绕一个既可作比喻理解、也可作字面理解的短语，并分别配上对齐图像（描绘该读法）、误导图像（描绘相反读法）或完全无图。指南要求标签只能根据句子本身决定，所以任何图像都不该改变答案。

图在不在，比图画什么更重要

作者预期每张图会把评委标签拉向它所描绘的含义，两种图都没有做到。十三款VLM评委上，对齐图像改变20.5%的标签，误导图像改变19.4%，对每一款都接近，且都高于删掉「忽略图像」指令、图仍留在原处时的11.6%。两张图之间标签不同的样本里，只有37%朝图所示含义移动。与人类标注员的一致性，在无图、对齐图、误导图三种条件下均无变化。效应在通过alt-test的七款评委上更小，在从未通过的六款上更大，但十三款全部存在：推动评委的是图像在场，不是图是哪一张。可替代性裁决因此同时描述配置与模型。

指令挡不住视觉输入

保留忽略指令时加图，标签变化约20%；去掉指令、图仍在，变化率11.6%。扰动并不等于没读指令。图像作为视觉输入本身就会让判断不稳定，且不稳定几乎不携带图意。摘要未列出评委名称，也未定义alt-test，细节只能留待全文。

我的判断

对照干净、数字具体：无关图像会动摇VLM评委，却几乎不推向图中含义。对把多模态模型当评委或人类替代品的人，这是一条提醒——报告可替代性时须同时报告图像是否在输入中。

价值止于该设定。仅200条英语歧义句、十三款未具名评委，不宜外推到其他语言、任务或更新模型。人类一致性三种条件打平，只说明本材料中如此，不证明评委可靠。alt-test未定义，七对六分组仅作内部观察。

目前只有摘要，无逐模型表与标注协议，宜先当作评测卫生警告。可替代性不只是模型分数，也是提示、图像与指令是否同时在场的函数。