llama.cpp Releases· github-actions[bot]·· 8 小时前AI 评分20
llama.cpp b11879 发布:CUDA 后端在 MMQ 中融合 FFN gate/up 矩阵乘与 GLU
b11879
AI 导读
llama.cpp 发布 b11879,CUDA 后端在 MMQ 中将稠密 FFN 的 gate 与 up 矩阵乘融合为一次 mul_mat_q 启动,并在写回阶段完成 GLU 计算。
来源:llama.cpp Releases · github.com