llama.cpp Releases· github-actions[bot]·AI 评分12
llama.cpp b11375 发布:修复 recurrent states 图重分配问题
b11375
这条更新与你有关吗?
这条是推理工具的运行问题修复。是否与你有关,要看你部署的版本、模型和使用方式。
llama.cpp 是让大模型在自己的电脑或服务器上本地运行的推理工具,不是一个聊天产品,也不是某个模型。
适合谁看:本地模型部署者、推理引擎开发者;普通 AI 使用者不必掌握内部实现。
如果只用在线 AI 产品或调用托管 API,通常不必研究这些内部术语;自己部署模型时,再核对相关版本和原文。
阅读提示:按来源与标题归类,不替代原文核验或具体升级建议。
技术摘要 · 保留来源细节
llama.cpp 发布 b11375,修复了 build_rs 中 recurrent states 的图重分配问题。此前额外状态由独立的 get_rows 收集,最坏情况下该节点被分配为零行,导致非连续 ubatch 触发图重分配并在 GGML_SCHED_NO_REALLOC 下中止。
来源:llama.cpp Releases · github.com