DeepSeek API 上线硬盘上下文缓存技术
DeepSeek API 采用硬盘缓存技术,将价格再降低一个数量级。官方文档页面显示该更新于 2024/08/02 生效,更多细节可查阅 Context Caching is Available 文档。
推荐理由:DeepSeek API 用硬盘缓存降低调用价格,读者可据此判断长上下文场景的成本变化。
技术方向
把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。
81 条精选近 30 天 34 条共收录 752 条
DeepSeek API 采用硬盘缓存技术,将价格再降低一个数量级。官方文档页面显示该更新于 2024/08/02 生效,更多细节可查阅 Context Caching is Available 文档。
推荐理由:DeepSeek API 用硬盘缓存降低调用价格,读者可据此判断长上下文场景的成本变化。