Mooncake：面向 LLM 服务的 KVCache 分离式架构

Moonshot AI 发布 Mooncake 技术报告，这是 Kimi 的服务平台，采用以 KVCache 为中心的分离式架构，将 prefill 与 decode 集群分离，并利用 GPU 集群中闲置的 CPU、DRAM 和 SSD 构建分离式 KV 缓存池。