OpenAI 于 2026 年 9 月 22 日公布 GPT-6 的提示词缓存改进。摘要称,改进包括更高的缓存命中率、新的诊断、显式断点,以及用于降低延迟与成本的控制项。对复用系统提示、工具说明和会话前缀的应用,缓存是否命中会同时影响延迟和账单。公开材料未给出命中率、延迟或费用的具体数字,也无接口示例。下文只依据这四点来写,不做外推。

命中率与成本控制

材料将更高命中率与降延迟、降成本的控制并列。更高命中意味着相同前缀更可能被复用;控制项则暗示缓存不完全是黑盒,调用方可做策略干预。这对长系统提示、多轮对话和批量任务更有意义。摘要未说明缓存粒度、计费折扣、最短前缀,也无相对旧模型的对比。因此只能认为 GPT-6 把缓存提升为可干预的成本与延迟手段,幅度未知。更稳妥的准备是保持前缀稳定、易变内容后置,以便控制项可用时能够命中。

诊断与显式断点

新的诊断指向可观察性,帮助判断未命中时前缀在何处分叉。显式断点则让开发者标明可缓存边界,避免动态字段污染整段前缀。RAG、智能体和多租户网关里,工具输出或检索片段一旦插入中间,隐式缓存很容易失效。材料未描述诊断字段、断点语法或 API 形态,故不能写成已经可以按层缓存。目前能确定的只有方向:缓存边界将变为显式声明。工程上可先拆分稳定块与易变块,等文档补齐再对接。

我的判断

价值在于把提示缓存做成可诊断、可切割的能力,对生产流量是加分方向。适用边界是前缀高度重复的负载;短请求或每次重构提示的场景获益有限。局限同样清楚:仅有方向性摘要,无量化结果和失败模式。完整说明发布前,不宜承诺省时或省钱,也不宜据此改预算。更合理的动作是等待命中率定义、断点语义和计费规则,并先把提示结构整理干净。