跳到正文
热点事件持续更新

llama.cpp 修复 Metal 后端 mul_mat_id 重复 id 问题

1 篇报道1 个报道来源4 小时前更新

先了解这件事

AI 综述

llama.cpp 发布 b11569,修复 Metal 后端 mul_mat_id 内核在 id 重复时输出错误或丢行、甚至溢出到下一专家切片的问题。原 kernel_mul_mm_id_map0 假设每个 token 至多匹配一次、每个专家固定容量为 ne21 条,id 重复时即出错;新实现改为按专家构建紧凑的 (token, slot) 条目列表。 发布说明称,883/883 项 test-backend-ops MUL_MAT_ID 测试通过,llama-bench 结果在上一行为的运行间波动范围内;Qwen3.6-35B-A3B Q8_0 上 pp2048/4096/8192 提升约 2%、pp512 提升 0.5%,tg32 不变。

AI 根据报道生成 · 44 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. llama.cpp Releases
    llama.cpp b11569 修复 Metal 后端 mul_mat_id 重复 id 问题

    llama.cpp 发布 b11569,修复 Metal 后端 mul_mat_id 在 id 重复时输出错误或丢行、甚至溢出到下一专家切片的问题,改为按专家构建紧凑的 (token, slot) 条目列表。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。