llama.cpp b11868 为 Hexagon 多核 flash attention 增加 KV-head 团队拆分
热点事件持续更新
llama.cpp b11868 为 Hexagon 多核 flash attention 增加 KV-head 团队拆分
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11868 版本,为多核 Hexagon NPU 上的 HMX flash attention 增加 KV-head 团队拆分(team split),并把原有的 FA_HEAD_SPLIT 与 FA_SPLIT 合并为单一开关 GGML_HEXAGON_FA_SPLIT。 按该版本说明,GGML_HEXAGON_FA_SPLIT 取 0 表示关闭,仅做 token 拆分;取 1 表示启用 head 拆分,并在 KV head 数少于核心数时启用团队拆分,让原本闲置的核心也参与计算,例如 4 核上运行 2 个 KV head 的 gemma-4。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
10月25日
- llama.cpp Releasesllama.cpp b11868 发布:Hexagon NPU 多核 HMX flash attention 支持 KV-head 团队拆分
llama.cpp b11868 为 Hexagon NPU 多核 HMX flash attention 引入 KV-head 团队拆分,将 FA_HEAD_SPLIT 与 FA_SPLIT 合并为单一 GGML_HEXAGON_FA_SPLIT 标志。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。