跳到正文
llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分58

llama.cpp v0.7.0 发布:新增 MoE 专家 GPU 缓存与 LiliCorr 投机解码

v0.7.0

AI 导读

llama.cpp v0.7.0 发布,新增面向主机内存 MoE 专家的 GPU 缓存(--moe-cache-mib),专家卸载时解码最高约 2.2 倍加速,并支持多 GPU 共享该缓存。

来源:llama.cpp Releases · github.com