llama.cpp Releases· shawngu-quic·· 3 小时前AI 评分13
llama.cpp b11541 发布:为 opencl 新增 MoE GEMM 二值化内核
b11541
AI 导读
llama.cpp 发布 b11541 版本,为 opencl 后端新增 kernel_gemm_moe_q4_k_q8_1_dp4a_bin 等二值化内核。该提交由 GitHub 验证签名,主要面向 MoE 场景的 GEMM 计算。
来源:llama.cpp Releases · github.com