llama.cpp Releases· github-actions[bot]·· 11 小时前AI 评分25
llama.cpp b11985 发布:Metal 后端优化 MXFP4 矩阵向量乘与 GLU 算子
b11985
AI 导读
llama.cpp b11985 针对 Metal 后端做多项性能优化:MXFP4 mat-vec kernel 改用 fp16 位技巧解码 fp4 值并以对齐 32-bit 字加载打包 nibble,不再使用 threadgroup memory。
来源:llama.cpp Releases · github.com