llama.cpp Releases· github-actions[bot]·· 6 小时前AI 评分18
llama.cpp b11713 发布:CUDA 低比特类型 MMVQ 提速
b11713
AI 导读
llama.cpp 发布 b11713,CUDA 后端针对低比特类型的 MMVQ 实现提速。该版本还修复了 hip 在 Q3_K(ncols=2,3)和 Q6_K(ncols=4)上的小 nwarps GCN 问题。
来源:llama.cpp Releases · github.com