跳到正文
AWS Machine Learning Blog· Claudio Mazzoni·· 3 小时前AI 评分58

Amazon Bedrock 上 OpenAI 模型的提示词缓存模式:AI 智能体如何避免重复读取上下文

Groundhog Day for AI agents: Prompt caching patterns for using OpenAI models on Amazon Bedrock

AI 导读

AWS 官方博客介绍在 Amazon Bedrock 上使用 OpenAI 模型时,如何通过提示词缓存让 AI 智能体不必每轮重读全部上下文。文章区分隐式缓存与显式 prompt_cache_breakpoint 两种边界,并给出缓存工具与指令、随对话增长滚动缓存、会话中新增工具、子智能体共享前缀以及稳定 prompt_cache_key 的代码示例。

来源:AWS Machine Learning Blog · aws.amazon.com