LLM 智能体服务常在集群 GPU 上做模型推理，同时在分布式 CPU 上调用外部工具，两者交替进行。现有系统往往忽略工具返回的就绪状态，导致资源浪费；在 GPU 准入与放置上又多依赖启发式策略，调度决策不够优。TAO 正是针对这一问题提出的工具感知联合调度框架。

核心设计

TAO 的价值接口综合了近期待工具就绪程度、带时间衰减的节点特定缓存信用，以及 token 占用规模。在此基础上，它用动态规划在容量约束下联合选择等待会话并决定放置位置，从而把工具侧信息真正纳入服务评估与调度决策。

效果与范围

论文报告了 12 组模型-工作负载-并发设置。相对各组指标上表现最好的现有基线，TAO 可将延迟最高降低 26.8%，平均首 token 时间（TTFT）最高降低 36.3%，解码吞吐最高提升 29.5%。这些数字均来自报告的对比结果，体现了工具感知与联合优化带来的收益。

我的判断

TAO 把智能体服务中常被忽略的工具就绪与 GPU 放置放在同一框架里处理，方向务实，对延迟敏感、工具调用频繁的场景有直接价值。适用边界在于它面向的是集群 GPU + 分布式工具的典型 agentic serving 设定；启发式被动态规划替代后，工程复杂度与在线开销需要实际系统验证。材料未展开更多实现细节与失败案例，因此对超大规模或极异质工具延迟的泛化仍需谨慎看待。整体上，这是一篇把调度问题说清楚、并用可复现对比支撑收益的工作，值得关注后续落地。