跳到正文
llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分15

llama.cpp b11554 发布:Vulkan 后端优化 mul_mat_id 重复处理

b11554

AI 导读

llama.cpp 发布 b11554 版本,Vulkan 后端将 mul_mat_id 的重复处理从循环改为在 prepass 阶段完成,并让"hoist row ids"优化默认启用。该改动会生成紧凑的 tile 描述列表,必要时输出多个 tile,从而收紧 workgroup 数量上界,让尾部工作可提前退出。

来源:llama.cpp Releases · github.com