llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分12
llama.cpp b11866 发布:Metal 后端移除 mul_mm_id 的 amax 重缩放
b11866
AI 导读
llama.cpp 发布 b11866,Metal 后端移除 kernel_mul_mm_id 中 src1 的二次幂重缩放,改由计算图中的 per expert-token amax 缩放保证 MoE 下投影激活在 f16 范围内。此次一并删除两阶段归约 kernel、其 scratch buffer、#26223 引入的 GGML_PREC_F32 分发及相关测试用例。
来源:llama.cpp Releases · github.com