llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分28
llama.cpp b11873 为 OpenCL 后端加入 q2_k 量化初步支持
b11873
AI 导读
llama.cpp b11873 为 OpenCL 后端加入 q2_k 量化初步支持,新增 mul_mv_q2_k_f32、q2_k SOA mv 与 tiled mm 等内核。该版本还为 Adreno GPU 补充 q2_k noshuffle gemm/gemv 和 dp4a gemm,并针对 Adreno 调优 q2_k 内核。
来源:llama.cpp Releases · github.com