日常到专业场景里的具身任务，都要求智能体在物理约束下行动，并持续跟踪物体与任务状态。工具使用处在这类任务的核心：大量日常和专业活动都是工具中介的。要理解它们，需要推理可供性、手-工具-物体几何、流程进度，以及对目标物体的因果效应。当前多模态视频模型在字幕、通用视频问答等感知向任务上已经较强，但这种以工具为中心的具身推理仍然有限。进展受阻于真实第一人称数据和诊断基准的缺失。EgoTools 因此被提出，作为面向第一人称工具使用理解的综合套件。
数据和基准分别解决什么
它分成两个互补部分。数据侧是约 100 小时的工具中心第一人称录像，带同步音频、稠密字幕、偏重推理的旁白，以及补充三维信息，直接对准「没有真实自我中心工具数据」这个问题。评测侧是 1000 道问答，分成四条赛道，覆盖从感知与几何到流程与因果推理。材料里明确点名的赛道是 Perception & Grounding（感知与接地）；其余赛道的精确名称未给出，只能按覆盖范围理解为几何、流程和因果。对开发者而言，重点是把「会不会用工具」拆成可诊断的子能力，而不是再做一个笼统的视频问答榜。
数字说明模型卡在接地
现有模型仍难以把工具使用建立在视觉证据上。Gemini-3.1-Pro 总体准确率 66.9%，感知与接地只有 51.7%。总体过半、接地明显更低，说明弱项不在「能聊视频」，而在把工具、手和物体在画面里对上。摘要还写到，除评测外作者对数据做了进一步验证，但材料在此截断，没有披露验证方式、训练设置或提升幅度，这里不做推测。
我的判断
这套工作的价值，首先是把问题定义清楚：工具中心推理不是通用视频理解的自然延伸，而是一套需要可供性、几何、流程和因果的具身能力。100 小时真实第一人称数据和 1000 题诊断基准，对做机器人、操作智能体和视频大模型的人有用——至少能定位模型死在感知接地，还是死在后面的流程因果。适用边界同样清楚：这是理解与评测套件，摘要没有给出可部署的操作策略或端到端成功率。主要局限是公开材料不完整，四条赛道细项、采集场景和数据验证结论都还看不到。在更多细节出来之前，不宜把 66.9% 读成「已经能用」，更合理的读法是：视频模型会看，但仍不会把工具用对。