跳到正文
热点事件持续更新

llama.cpp Metal 后端新增 TOP_K_MASK 算子

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

llama.cpp 构建 b11927 在 Metal 后端新增 GGML_OP_TOP_K_MASK 算子,把 CUDA 后端的融合 top-k mask 实现移植过来。 据该版本发布说明,实现方式是:grid-stride 内核先用 -inf 填充输出,再由每行一个 threadgroup 覆盖保留单元的 mask 值。

AI 根据报道生成 · 7 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. llama.cpp Releases
    llama.cpp b11927 为 Metal 后端新增 GGML_OP_TOP_K_MASK

    llama.cpp 构建 b11927 在 Metal 后端新增 GGML_OP_TOP_K_MASK,将 CUDA 后端的融合 top-k mask 移植过来:grid-stride 内核先用 -inf 填充输出,再由每行一个 threadgroup 覆盖保留单元的 mask 值。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。