离线强化学习可以从历史数据训练多个候选策略，但真正上线微调时，交互往往昂贵或有风险。新研究把问题定义为有限预算下的主动策略选择：在线样本既可以用来判断哪个策略更好，也可以直接用来改进某个策略，两种用途会竞争同一份预算。
评估与改进之间的权衡
常见做法是先用离线评估选出一个候选，然后把全部在线预算投入它。问题在于，后续微调效果对算法和超参数敏感，离线排名第一的策略未必有最好的增长潜力。另一种平均分配方式虽然保守，却会把大量样本花在明显较差的候选上。
论文使用在线观察拟合局部线性的性能预测，再根据候选策略未来表现的置信上界，动态决定下一批交互给谁。高潜力但不确定的策略获得探索机会，已经表现良好的策略则继续得到微调预算。作者报告该方法在多组实验中持续优于现有离线到在线基线。
对真实系统的意义
机器人、推荐和调度系统不能随意试错，策略选择本身就应成为序贯决策问题。工程实现时需要保存每个候选的学习曲线、不确定性和交互成本，而不是只存一个离线分数。
局部线性预测是假设，不同策略也可能有延迟收益或突变退化。因此部署需要安全约束、回滚阈值和独立监控，不能仅依据乐观上界自动扩大流量。
我的判断
这项工作把一个常被忽略的运营问题正式化：上线预算既是训练数据，也是选择证据。其思想比具体算法更通用——当候选方案会随着试用而变化时，一次性 A/B 排名不够，评估与优化必须联合设计。