医疗 AI 要覆盖不同角色、任务与照护场景,现有基准覆盖并不均匀。InclusionMed 是一项面向包容性医疗的开放评测倡议,用 Atlas 按三类医疗角色与三类 AI 能力组织基准。首发从 388 个候选中,经结构化审计与独立复现选出 4 个公开基准,再加入私有诊断推理基准 InclusionMed-DxFiles。Atlas 现有 5 个基准,只覆盖九个角色—能力格子中的三个。作者据此评测前沿大语言模型,汇总成 InclusionMed Index。

覆盖仍是局部切片

Atlas 的设计是三个角色乘以三种能力,共九格,第一版只填了三格。候选有 388 个,公开入选仅 4 个,说明结构化审计和独立复现把关较严,也说明大量公开医疗基准对不上这套框架。DxFiles 补了诊断推理,但整体仍是切片。当前 Atlas 更像一张覆盖地图,用来标出空白,而不是完备的医疗能力清单。把首发结果当成全面医疗评测,材料本身并不支持。

排名随角色与能力变化

InclusionMed Index 总分介于 17.5 到 49.1,满分 100,整体不高。Index 还按医疗角色和 AI 能力分别给分,同一模型的名次会随所看角色或能力改变。基准内用任务级标签分析后,排名前十的模型在患者沟通上的得分全部高于临床决策。分数接近的模型,预估推理成本也相差很大。这些发现指向两点:评测需要覆盖更多元的医疗需求;选型必须结合具体情境,而不能只看总分。

我的判断

InclusionMed 的价值在于把包容性写成可核对的缺口:九格只填三格、前十模型沟通一律强于决策、同分成本差很大,都是材料里的具体观察,对开发者有提醒作用。适用边界也很清楚——目前只覆盖少数格子,公开基准少,私有 DxFiles 社区无法直接复现,不宜据此判断某模型已经适合临床部署。总分最高 49.1,更像暴露评测空白和决策短板,而不是给出可落地的优劣排序。若后续开放协作能补上其余格子,这套 Atlas 才可能从倡议变成场景化选型工具。局限目前大于结论:它标出了还评不够什么,但还不能告诉你该部署什么。