llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分22
llama.cpp b11971 为 Adreno GPU 新增 tiled q4_k GEMM
b11971
AI 导读
llama.cpp 构建 b11971 在 OpenCL 后端为 Adreno GPU 新增 tiled q4_k GEMM,并在 batch > 1 时用 tiled GEMM 执行 tiled q4_K lm_head。
来源:llama.cpp Releases · github.com