llama.cpp Releases· github-actions[bot]·· 14 小时前AI 评分22
llama.cpp b11632 发布:CUDA 与 HIP 新增 GDN chunked kernel
b11632
AI 导读
llama.cpp 发布 b11632,为 CUDA 和 HIP 后端加入 GDN chunked kernel,代码移植自 tetherto#257。该 kernel 在实测的 Ampere 与 Ada GPU 上启用 GDN MMA,覆盖 SM86 和 SM89(RTX 3090、RTX 4090),其余未测试架构保留原有回退方案。
来源:llama.cpp Releases · github.com