跳到正文
llama.cpp Releases· github-actions[bot]·· 5 小时前AI 评分28

llama.cpp b11930 为 server 新增 --models-memory-max 参数,支持按内存阈值动态卸载模型

b11930

AI 导读

llama.cpp 发布 b11930,server 新增 --models-memory-max 参数,可在模型超出内存阈值时动态卸载,阈值估算包含待加载模型大小。该版本改用每设备内存余量而非总大小上限,并修复了 measure 子进程内存统计与排队加载在内存余量受限时的忙等重试问题。

来源:llama.cpp Releases · github.com