llama.cpp Releases· ggerganov·· 3 小时前AI 评分12
llama.cpp b11567：推理时报告计算图重分配
b11567: llama : report compute graph reallocations during inference (#30329)
AI 导读
llama.cpp b11567 新增可选的 ggml_backend_sched_realloc_callback，用户代码可通过 ggml_backend_sched_set_realloc_callback 注册，在计算图预留缓冲区不足、需重新预留时收到通知。
来源：llama.cpp Releases · github.com