llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分22
llama.cpp b11335:CUDA 将 sm_70 路由至 Turing MMVQ nwarps 表
b11335
AI 导读
llama.cpp 发布 b11335,CUDA 后端将 sm_70(Volta)路由到已有的 Turing MMVQ nwarps 参数表,使 K-quant batch-1 解码在 nwarps=2 下启动。
来源:llama.cpp Releases · github.com