llama.cpp Metal 后端新增 TOP_K_MASK 算子
热点事件持续更新
llama.cpp Metal 后端新增 TOP_K_MASK 算子
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
llama.cpp 构建 b11927 在 Metal 后端新增 GGML_OP_TOP_K_MASK 算子,把 CUDA 后端的融合 top-k mask 实现移植过来。 据该版本发布说明,实现方式是:grid-stride 内核先用 -inf 填充输出,再由每行一个 threadgroup 覆盖保留单元的 mask 值。
AI 根据报道生成 · 7 分钟前更新
最新进展10月27日 18:13
llama.cpp b11927 为 Metal 后端新增 GGML_OP_TOP_K_MASK报道时间线
沿着报道,了解事件的不同侧面。
10月27日
- llama.cpp Releasesllama.cpp b11927 为 Metal 后端新增 GGML_OP_TOP_K_MASK
llama.cpp 构建 b11927 在 Metal 后端新增 GGML_OP_TOP_K_MASK,将 CUDA 后端的融合 top-k mask 移植过来:grid-stride 内核先用 -inf 填充输出,再由每行一个 threadgroup 覆盖保留单元的 mask 值。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。