视觉语言模型智能体可用视觉反馈和动作原语控制机器人,但反复调用模型和塞入冗余观测会带来可观的 token 开销。工作提出交互式代码执行框架 PyRUA-Lean,将反馈驱动的原语组合与选择性观测耦合:智能体把经典机器人原语和学到的视觉-语言-动作(VLA)策略写成 Python 代码单元,在单元内做条件检查和局部重试,只返回明确请求的图像与状态反馈供再规划。评测覆盖 LIBERO-PRO、RoboTwin 2.0、RoboCasa365 共 700 个仿真实例,对照为同一 GPT-6 Astra 规划器、同一套底层原语的 tool-calling 基线。同等 LLM 调用预算下,整体成功率从 63.1% 升至 71.7%;双方都成功的实例上,LLM 调用少 49%,输入 token 少 65%。

换的是交互,不是规划器

对照很明确:规划器同为 GPT-6 Astra,底层原语相同。基线走 tool-calling;PyRUA-Lean 把原语和 VLA 策略编进 Python 单元,让条件判断和局部重试留在代码里,而不是每步打回大模型。观测改为按需,只回传点名要的图像和状态,再进入规划。摘要未说明单元如何生成、两者如何分工,也未给出三个基准的分项成功率。

两组成绩口径不同

63.1% 到 71.7% 是同等调用预算下的整体成功率,高 8.6 个百分点,相对约 14%,与标题口径一致。少 49% 调用、少 65% 输入 token,只统计双方都做对的实例,不能当成全部任务的平均账单。摘要未报告真机、延迟、失败任务的 token,也未给出预算变化后的曲线。能确定的是:在这 700 个仿真实例里,局部闭环进代码、观测按需,用更少输入 token 换到了更高成功率。

我的判断

价值在把成本说清楚:这类智能体往往贵在回合和冗余像素,不在多写几行 Python。已有原语、又要视觉闭环时,用代码单元承载条件与重试、用选择性观测压上下文,是可检验的架构选择。边界同样窄。全是仿真、规划器固定、样本 700;成功子集上的节省不能外推到失败任务。摘要没写按需观测会否漏画面,也没写局部重试在何种扰动下空转。材料撑不住“少 token 就更稳”。更稳妥的读法是:原语齐备的仿真操作里,让代码消化局部失败、让模型只看点名后的反馈,这组数字是支持的。