部署阶段的执行经验本可用来提高机器人策略可靠性,但人工纠错需要遥操作员盯着失败并介入,机队一大就很难跟上。论文提出集体经验学习(CEL):已部署机器人共享执行经验,改进同一套策略。实现上采用失败引导的经验检索微调(FERT),并由容错异步训练系统(FATS)协调采集、优化与策略分发,容忍机队局部中断。
用失败检索成功片段
FERT用执行中的失败上下文,从机队共享的成功经验里检索相关轨迹片段,以这些片段的动作作为监督更新策略。材料写明:不额外采集专家演示,也不收集纠错动作。FATS把采集、优化和分发做成可异步、可容错的流程。摘要未说明失败如何判定、检索用何种相似度,细节只能保守理解到这一层。
五项任务与规模
五项真实世界操作任务上,策略成功率93.3%–99.2%,每项120次试验,评测机器人不参与训练数据采集。单机采集时间固定时,更大机队提供更多经验,FERT在所评估规模上总体成功率更高。多阶段手机包装中,96台机器人学习使成功率从79.2%升至98.3%。摘要未列出任务名称和完整基线对照。
我的判断
CEL针对机队扩大后纠错人力不足的问题,把部署经验变成共享监督,方向清楚。FERT不依赖新的专家演示或纠错动作,评测机与采集机分离,比同机自测更有参考价值。93.3%–99.2%的成功率,以及包装任务79.2%到98.3%的提升,是材料里最硬的数字。但我们只有摘要:失败检测是否可靠、检索会否引入错误监督、通信与隐私成本,都无法判断。适用边界宜先限定为成功执行充足、失败可识别、适合用轨迹片段做动作监督的操作任务,不宜外推到强接触或成功样本稀缺的场景。更大机队带来更高成功率,是在单机采集时间固定这一设定下的观察,不能读成无成本堆机器。