llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分15
llama.cpp b11554 发布:Vulkan 后端优化 mul_mat_id 重复处理
b11554
AI 导读
llama.cpp 发布 b11554 版本,Vulkan 后端将 mul_mat_id 的重复处理从循环改为在 prepass 阶段完成,并让"hoist row ids"优化默认启用。该改动会生成紧凑的 tile 描述列表,必要时输出多个 tile,从而收紧 workgroup 数量上界,让尾部工作可提前退出。
来源:llama.cpp Releases · github.com