跳到正文
原文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分22

llama.cpp b11335:CUDA 将 sm_70 路由至 Turing MMVQ nwarps 表

b11335

AI 导读

llama.cpp 发布 b11335,CUDA 后端将 sm_70(Volta)路由到已有的 Turing MMVQ nwarps 参数表,使 K-quant batch-1 解码在 nwarps=2 下启动。

来源:llama.cpp Releases · github.com