跳到正文
llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分36

llama.cpp b11980 为 SYCL 后端新增量化 KV cache 的 DPAS flash attention kernel

b11980

AI 导读

llama.cpp b11980 为 SYCL 后端新增 DPAS flash attention kernel,解码和小批量(1 至 31 个 query token)可直接在 q4_0 与 q8_0 KV 块上运行 flash attention,无需逐次反量化或把整个 cache 转成 f16。

来源:llama.cpp Releases · github.com