跳到正文
llama.cpp Releases· github-actions[bot]·· 12 小时前AI 评分12

llama.cpp b11647 发布:Vulkan 后端在 AMD 上优化 f16 KV 拷贝

b11647

AI 导读

llama.cpp 发布 b11647,Vulkan 后端在 AMD 上对 strided f16 KV 只做一次拷贝,使读取分散到多个内存通道。该改动复用通用 copy shader 完成 f16 KV scratch 填充,并扩展到 bf16,同时合并 copy shader、在 RDNA4 上禁用。

来源:llama.cpp Releases · github.com