Mistral AI·AI 评分34
Heaps do lie:排查 vLLM 内存泄漏
Heaps do lie: debugging a memory leak in vLLM.
AI 导读
Mistral AI 团队在 vLLM 上排查一起内存泄漏:在 Mistral Medium 3.1、开启图编译的 Prefill/Decode 分离部署中,系统内存以每分钟 400 MB 线性增长,数小时后触发 out of memory。Heaptrack 显示堆内存稳定,泄漏发生在堆外,最终指向 NIXL 经 UCX 传输 KVCache 的环节。
来源:Mistral AI · mistral.ai