提示缓存Prompt Caching
复用符合条件的重复输入处理结果,减少重复提示前缀的处理开销。
稳定规则 / 工具本次问题
稳定规则 / 工具本次问题 +
复用前缀处理
新回答仍需生成
怎么用
项目规则和工具定义经常不变,可以放在稳定前缀;用户的新问题放后面。是否命中取决于供应商的匹配、长度和有效期规则。
先检查什么
读取实际用量中的缓存字段,比较命中情况、费用和首字等待。不要把“已配置”当成“已命中”。
容易误解的地方
它不缓存整份回答,也不是模型长期记忆。费用、门槛和失效规则随供应商变化,内容改动可能导致未命中。
这样告诉 Agent
请把稳定规则和工具定义放在提示前缀,把变化内容放后面。按供应商文档读取实际缓存用量,记录命中、未命中和首字等待,不承诺固定节省比例。