OpenAI 改进了 GPT-6 的提示词缓存，提升默认缓存命中率并提供缓存监控、未命中诊断和显式缓存断点等工具，符合条件的共享前缀可在30分钟窗口内重复使用并享最高90%折扣。该更新是面向长时间运行智能体的基础设施优化，强调可观测性与工程实践以在长期工作流中降低成本并保持响应性能。
OpenAI 9月22日宣布改进GPT-6系列的提示词缓存（Prompt Caching），称新系统将提高默认缓存命中率，并为开发者提供缓存监控、缓存未命中诊断和显式缓存断点等工具。符合条件的共享前缀可在30分钟窗口内重复使用，缓存输入读取最高可享受90%的折扣。
这项更新并不是一个新的模型发布，而是一次面向长时间运行智能体的基础设施调整。OpenAI的判断是，当编码代理、研究代理和文档代理连续运行数小时，并在多次API请求中重复携带相同的指令、工具定义和上下文时，决定成本与响应速度的，不只是模型本身的能力，也包括这些上下文有多少能够被重新利用。
从“记住内容”到重复利用计算
提示词缓存并不等同于模型记忆，也不会让模型在没有提供相关输入的情况下记住用户或客户。它缓存的是模型已经处理过的、位于提示开头的可复用前缀所对应的中间计算状态。下一次请求仍然需要提供新的问题、工具结果或对话内容，模型也会为这次请求生成新的回答。
OpenAI的提示词缓存文档称，缓存机制的核心是复用相同的提示前缀，从而减少重复计算、降低输入token费用并缩短响应开始前的等待时间。缓存通常覆盖系统指令、开发者消息、工具定义以及对话历史等已经渲染到请求中的内容，但如果前缀中的内容或相关设置发生变化，后续部分就可能无法匹配原有缓存。
OpenAI最初在2024年推出提示词缓存时，主要强调自动识别共同前缀，并对缓存输入提供折扣。如今，随着模型被用于更长、更复杂的代理工作流，公司开始把缓存当作开发者需要主动观察和调试的生产系统能力，而不只是后台自动优化。
新工具把缓存命中率变成可观测指标
此次更新包括一个提示词缓存仪表板，用于显示应用输入中有多少内容来自缓存，以及命中率如何随时间变化。开发者可以通过输入组成图，比较缓存token与未缓存token的比例，并观察应用代码或提示结构变化是否导致命中率下降。
OpenAI还推出缓存诊断工具，用于解释一次缓存未命中的原因。官方给出的示例中，工具定义发生变化导致5629个可复用token未被命中。对于依赖大量工具调用的代理来说，这类信息比单纯知道“本次没有命中缓存”更有用，因为开发者可以进一步判断，问题来自模型、工具、设置，还是请求内容本身。
公司同时建议开发者使用显式缓存断点，决定哪些提示前缀应该被重复利用；保持工具定义、参数结构和工具顺序稳定；将经常变化的指令放在较后位置；并在用户真正发起任务前预热已知上下文。GPT-6还允许开发者在不破坏既有缓存的情况下调整推理强度，这意味着同一个代理可以在困难任务中提高推理投入，在简单跟进中降低投入，而不必重写此前的共享上下文。
30分钟窗口和90%折扣意味着什么
OpenAI表示，GPT-6系列会为符合条件、在30分钟窗口内重复使用的共享前缀提供缓存折扣。开发者仍需注意，缓存命中并不是永久保证，模型、请求设置、工具定义、消息结构以及请求路由都可能影响能否复用此前的计算。
官方API文档显示，支持的模型会对达到最低长度要求的提示前缀启用缓存，缓存输入的具体价格取决于模型。文档同时提醒，缓存token仍计入速率限制，提示词缓存并不会改变token-per-minute等容量约束。缓存也不会改变输出生成本身：即使前缀相同，模型仍会结合新的输入生成新的结果。
因此，90%的折扣并不意味着一项代理任务的总成本会自动下降90%。最终账单还取决于动态输入的长度、输出token数量、工具调用次数、并行代理数量、长上下文价格，以及缓存是否持续命中。对企业而言，更有意义的指标是每项任务的总成本、完成时间、返工次数和人工审核成本，而不是单独看缓存命中率。
持久化智能体正在改变模型成本的计算方式
OpenAI在GPT-6 Sol与Luna的发布说明中，将提示词缓存与推理效率和API价格放在一起讨论。公司称，GPT-6的缓存改进可以帮助代理复用更多上下文、更快响应，并让缓存输入读取获得最高90%的折扣。OpenAI还表示，GitHub在过去数月通过这些改进，把数十亿次请求中需要重新处理的提示token比例降低了50%以上；这一数字属于GitHub向OpenAI提供的使用情况披露，尚未由独立机构验证。
这说明模型市场的竞争正在从单次回答的能力比较，扩展到长期工作流的运行经济学。一个模型即使在单轮基准测试中占优，如果在连续工具调用、长上下文和多次重试中产生更高的输入与推理成本，企业未必愿意将它作为默认模型。相反，缓存稳定、命中率可测量、失败原因可诊断的模型服务，可能更容易进入生产系统。
AIFlux此前报道过OpenAI将GPT-5.6 Sol API与相关积分价格下调逾20%，当时的讨论已经显示，模型价格、Codex积分和ChatGPT Work等产品正被放入同一个工作流成本框架中。此次GPT-6缓存更新，则把这一逻辑进一步推进到基础设施层：开发者不仅要选择哪个模型，还要设计怎样的提示结构，才能让可复用的上下文保持稳定。
缓存优化也带来新的工程约束
提示词缓存的收益建立在“相同前缀”之上，这会对代理系统的设计提出约束。工具定义频繁变化、动态内容被放在提示开头、消息结构反复重写，都会降低可复用范围。为了提高命中率，开发者可能需要把稳定的系统指令、工具模式和参考资料固定在前面，再把实时数据、用户请求和临时任务放到后面。
这种做法并不总是适合所有应用。频繁更新权限或工具列表的系统，不能为了追求缓存命中而保留过时的访问能力；涉及个人信息、企业机密或高风险操作的代理，也不能把缓存效率置于数据隔离和权限控制之上。OpenAI文档称，缓存不会在不同组织之间共享，但企业仍需根据自身的数据保留、访问控制和合规要求评估具体部署方式。
此外，缓存命中率上升也不等于代理质量同步上升。一个代理可能更快、更便宜地重复使用了错误的上下文，或者因为旧的工具定义和指令仍被保留而执行了不再适用的操作。开发者需要把缓存监控与版本管理、权限审核、回滚机制和任务级评测结合起来。
关键问题是实际工作负载能否复现节省
OpenAI此次公告给出了多家客户的正面案例。公司称，Manus在调整显式缓存断点后，OpenAI模型缓存命中率从约85%提升到持续超过90%；另一家客户则称，评测中的命中率从83%升至91%，缓存写入量下降约三分之二，推理成本降低36%。这些数字均来自OpenAI引用的客户反馈，属于特定工作负载下的结果，不能直接推导为所有应用都能获得同样节省。
对开发者来说，下一步需要验证的不是公告中的最高折扣，而是缓存机制在自己的请求模式下是否稳定。需要重点观察的包括：共享前缀的实际长度、工具和设置变更的频率、30分钟窗口内的请求密度、动态上下文的比例，以及缓存失效后对延迟和账单的影响。
当人工智能代理从一次性问答变成长时间运行的工作系统，模型服务的竞争也会更加接近传统基础设施竞争。价格、吞吐和能力仍然重要，但可观测性、可预测成本和在复杂请求链中持续复用上下文的能力，可能决定一个模型能否真正承担企业的日常工作。
来源：