跳到正文
llama.cpp Releases· github-actions[bot]·· 10 小时前AI 评分15

llama.cpp b11858 禁止 MoE amax 重缩放架构使用 -sm tensor

b11858

AI 导读

llama.cpp 发布 b11858 版本,对构建 amax 图的 MoE amax 重缩放架构禁用 -sm tensor。原因是 amax 的 POOL_1D 归约跨越整个 matmul 行,设备无法从 axis-0 切分中计算;Meta 的 split-state 场景报告为 MIRRORED,只给出各设备自身切片的局部最大值,因此该场景被移除。

来源:llama.cpp Releases · github.com