跳到正文
llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分17

llama.cpp b11552 修复 server 占用中 slot 被请求固定时的缓存更新问题

b11552

AI 导读

llama.cpp 发布 b11552,修复 server 中请求指定繁忙 id_slot 时仍会先执行 prompt cache 更新的问题。此前若 RAM 缓存存在更优匹配,会在该 slot 仍在生成时被加载,导致生成继续在错误上下文上进行;现在繁忙 slot 会原样返回,请求需等待该 slot。

来源:llama.cpp Releases · github.com