跳到正文
llama.cpp Releases· IMbackK·· 15 小时前AI 评分10

llama.cpp b11989:HIP/CUDA 在 CDNA 上启用稀疏注意力(#31259)

b11989: HIP/CUDA: enable sparse attn on CDNA (#31259)

AI 导读

llama.cpp 发布 b11989 提交,在 HIP/CUDA 后端为 CDNA 架构启用稀疏注意力(sparse attn)。该提交同时针对旧版 ROCm 用 __ballot 替代 __ballot_sync,并忽略新的大 head fattn mma 变体。

来源:llama.cpp Releases · github.com