预训练图像生成器是否编码了超出图像合成的真实世界理解?Vision Banana 把视觉任务写成条件图像编辑,给出了肯定方向,但其数据、权重、代码与实现细节均未公开。Open Vision Banana(OVB)补上缺口:一套完全开源、可复现的配方,把预训练生成器转成统一多任务感知系统。
配方与会互相干扰的设计
OVB 从 4B 与 9B 开源权重出发,用公开数据上的 210 万至 380 万训练对完成适配。对泛化影响最大的选择包括颜色编码、提示设计、参数适配与任务平衡。这些选择会相互作用:单独有益的设定,与其他选择组合后可能变差。关键因此是可复现的组合,而不是单点技巧。
分割、深度与测试时放大
Cityscapes 零样本上,OVB 报 73.9 mIoU,高于 Vision Banana 已公布的 69.9。深度估计可与最先进的仿射不变方法相当。非零样本变体在 referring 与 reasoning 分割上距 Vision Banana 不到五个点,实例分割则落后更多。模型大体保留基座的图像编辑能力。
作者提出 legend ensembling:同一图像用多套类别-颜色图例分别分割,再多数投票融合,纠正不稳定的颜色-类别绑定。Cityscapes 最多提升 8.7 mIoU,COCO-Object 最多提升 15.0。给定摘要在此处截断,其余条件未说明。
我的判断
OVB 的价值在「可核对」:把生成器当感知器从闭源报告变成开放配方,并指出设计选择会互相干扰。适用上,它适合能写成条件编辑、并接受颜色图例输出的任务;语义分割与仿射不变深度相对强,实例分割仍弱。材料未提供训练成本、延迟与失败案例,ensembling 的开销也不完整。独立复现之前,宜当作设计备忘,而不是可替换专用感知模型的结论。