跳到正文
llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分20

llama.cpp b11981 发布:优化 Hexagon NPU 上转置 CONCAT 的 DDR 带宽利用率

b11981

AI 导读

llama.cpp 发布 b11981 版本,针对 Hexagon NPU 上转置 CONCAT 操作优化 DDR 带宽利用率。改动包括将转置 CONCAT 的行块大小翻倍、缓冲区 scratchpad 翻倍、对 src1 行分块并将 VTCM stride 填充以分散 gather lane,同时把类似 vgather 优化应用到 SSM_CONV 和 GDN。

来源:llama.cpp Releases · github.com