跳到正文
llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分12

llama.cpp b11577 修复 vllm d3 多序列场景问题

b11577

AI 导读

llama.cpp 发布 b11577 版本,修复了 vllm d3 的多序列(multi seq)场景问题,并新增了一条 TODO 记录。该版本同步更新了覆盖 macOS、Linux、Windows、Android 及 openEuler 的多平台构建产物,涉及 CUDA 12/13、ROCm 10.0、Vulkan、SYCL、OpenVINO 等后端。

来源:llama.cpp Releases · github.com