llama.cpp Releases· github-actions[bot]·· 2 小时前AI 评分58
llama.cpp v0.7.0 发布:新增 MoE 专家 GPU 缓存与 LiliCorr 投机解码
v0.7.0
AI 导读
llama.cpp v0.7.0 发布,新增面向主机内存 MoE 专家的 GPU 缓存(--moe-cache-mib),专家卸载时解码最高约 2.2 倍加速,并支持多 GPU 共享该缓存。
来源:llama.cpp Releases · github.com