llama.cpp Releases· github-actions[bot]·· 12 小时前AI 评分12
llama.cpp b11647 发布:Vulkan 后端在 AMD 上优化 f16 KV 拷贝
b11647
AI 导读
llama.cpp 发布 b11647,Vulkan 后端在 AMD 上对 strided f16 KV 只做一次拷贝,使读取分散到多个内存通道。该改动复用通用 copy shader 完成 f16 KV scratch 填充,并扩展到 bf16,同时合并 copy shader、在 RDNA4 上禁用。
来源:llama.cpp Releases · github.com