跳到正文
llama.cpp Releases· ggerganov·· 9 小时前AI 评分22

llama.cpp b11599:不再将外部范围映射进后端缓冲区,并启用 macOS 预取

b11599: llama : do not map foreign ranges into a backend buffer (#30405)

AI 导读

llama.cpp 发布 b11599,修复共享同一文件的多上下文场景下缓冲区过度固定问题:改为按各上下文实际文件范围分别创建缓冲区,避免把其他上下文拥有的数据一并固定进 GPU 缓冲区(Qwen3.8-Flash-Next IQ4_NL 此前会因此固定 27 GiB 惰性张量)。

来源:llama.cpp Releases · github.com