llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分18
llama.cpp b11883 修复 llama-quant 的 4D 张量量化与 MoE 专家张量识别
b11883
AI 导读
llama.cpp 发布 b11883,修复 llama-quant 对 4D 张量的量化:此前 nrows_total 只算 ne[1]*ne[2],导致仅前 ne[2] 个切片被量化、其余行被丢弃,现改用 ggml_nrows(tensor) 统计含 ne[3] 在内的全部行。
来源:llama.cpp Releases · github.com