llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分12
llama.cpp b11927 为 Metal 后端新增 GGML_OP_TOP_K_MASK
b11927
AI 导读
llama.cpp 构建 b11927 在 Metal 后端新增 GGML_OP_TOP_K_MASK,将 CUDA 后端的融合 top-k mask 移植过来:grid-stride 内核先用 -inf 填充输出,再由每行一个 threadgroup 覆盖保留单元的 mask 值。
来源:llama.cpp Releases · github.com