跳到正文
热点事件持续更新

llama.cpp b11868 为 Hexagon 多核 flash attention 增加 KV-head 团队拆分

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

llama.cpp 发布 b11868 版本,为多核 Hexagon NPU 上的 HMX flash attention 增加 KV-head 团队拆分(team split),并把原有的 FA_HEAD_SPLIT 与 FA_SPLIT 合并为单一开关 GGML_HEXAGON_FA_SPLIT。 按该版本说明,GGML_HEXAGON_FA_SPLIT 取 0 表示关闭,仅做 token 拆分;取 1 表示启用 head 拆分,并在 KV head 数少于核心数时启用团队拆分,让原本闲置的核心也参与计算,例如 4 核上运行 2 个 KV head 的 gemma-4。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月25日
  1. llama.cpp Releases
    llama.cpp b11868 发布:Hexagon NPU 多核 HMX flash attention 支持 KV-head 团队拆分

    llama.cpp b11868 为 Hexagon NPU 多核 HMX flash attention 引入 KV-head 团队拆分,将 FA_HEAD_SPLIT 与 FA_SPLIT 合并为单一 GGML_HEXAGON_FA_SPLIT 标志。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。