llama.cpp SYCL 后端新增量化 KV cache 的 DPAS flash attention 内核
热点事件持续更新
llama.cpp SYCL 后端新增量化 KV cache 的 DPAS flash attention 内核
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
llama.cpp b11980 为 SYCL 后端新增了 DPAS flash attention 内核。在解码和小批量（1 至 31 个 query token）场景下，该内核可以直接在 q4_0 与 q8_0 的 KV 块上运行 flash attention，不再需要逐次反量化，也不必在每次调用时把整个 cache 转成 f16。 这一改动只覆盖解码和小批量；prompt 处理仍沿用原有内核。设置 GGML_SYCL_FA_DPAS=0 可以关闭该内核。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
10月29日
- llama.cpp Releasesllama.cpp b11980 为 SYCL 后端新增量化 KV cache 的 DPAS flash attention kernel
llama.cpp b11980 为 SYCL 后端新增 DPAS flash attention kernel，解码和小批量（1 至 31 个 query token）可直接在 q4_0 与 q8_0 KV 块上运行 flash attention，无需逐次反量化或把整个 cache 转成 f16。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。