跳到正文
llama.cpp Releases· github-actions[bot]·· 14 小时前AI 评分22

llama.cpp b11632 发布:CUDA 与 HIP 新增 GDN chunked kernel

b11632

AI 导读

llama.cpp 发布 b11632,为 CUDA 和 HIP 后端加入 GDN chunked kernel,代码移植自 tetherto#257。该 kernel 在实测的 Ampere 与 Ada GPU 上启用 GDN MMA,覆盖 SM86 和 SM89(RTX 3090、RTX 4090),其余未测试架构保留原有回退方案。

来源:llama.cpp Releases · github.com