llama.cpp Releases· github-actions[bot]·· 14 小时前AI 评分22
llama.cpp b11636 为 SYCL 后端加入 IQ3 权重重排优化
b11636
AI 导读
llama.cpp 构建 b11636 为 SYCL 后端加入 IQ3_S/IQ3_XXS 持久化权重重排,权重在加载时重排一次,MMVQ 点积改用 dp4a 与 SWAR 符号扩展遍历稠密 super-block,重排感知反量化同时惠及批量 prefill GEMM。
来源:llama.cpp Releases · github.com