llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分36
llama.cpp b11980 为 SYCL 后端新增量化 KV cache 的 DPAS flash attention kernel
b11980
AI 导读
llama.cpp b11980 为 SYCL 后端新增 DPAS flash attention kernel,解码和小批量(1 至 31 个 query token)可直接在 q4_0 与 q8_0 KV 块上运行 flash attention,无需逐次反量化或把整个 cache 转成 f16。
来源:llama.cpp Releases · github.com