训练动作策略把操作技能写进权重,学到的内容就绑在训练分布上。上下文学习本可解开耦合,却一直追不上训练策略:别的场景录下的演示,带不来当前世界的反馈。作者指出,智能体在上下文里记下的是语义——任务步骤和物体角色,而非视觉外观——因此经验可以跨世界迁移。据此提出 World In-Context Learning(WICL):冻结模型从一条演示出发,在仿真等世界中彩排,把反馈写入上下文而非权重。
做法:RoboScript
RoboScript 是实现 WICL 的模块化基础设施,面向 agentic manipulation。单条演示先在仿真中彩排,学完后冻成 Task Memory,再部署到新场景。部署使用 data isolation,确保每条输入在真机上同样可得。全程无梯度更新。材料未展开模块内部实现。
能核对的结果
在 RoboTwin 2.0 全部 50 项任务上,clean 与 randomized 设定平均成功率 83.4%,每任务一条演示、无梯度更新,超过最强训练动作策略逾 20 个百分点。摘要称其能跨视觉分布泛化、通过 reflection 改进、随基础模型规模提升,并迁移到物理环境。材料于 physical 处截断,无真机规模与数字,不作补充。
我的判断
把世界反馈写进上下文而非权重,对准了 ICL 在操作任务上偏弱的原因。价值是一份演示、不改参数、可换场景。边界很硬:依赖可彩排的仿真世界,Task Memory 冻结后不再学习,部署输入必须真机可获取。摘要未交代失败模式、时延、isolation 实现和可核对的真机结果;83.4% 是该基准 clean 与 randomized 的均值,不宜当成落地成绩。思路值得跟,强度仍取决于全文。