llama.cpp 修复后端采样图跨 ubatch 拓扑变化
热点事件持续更新
llama.cpp 修复后端采样图跨 ubatch 拓扑变化
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
llama.cpp 发布 b11530，修复后端采样图在 ubatch 之间拓扑变化的问题。 此前 reserve 阶段按 sampler 构建 n_outputs_max_per_seq 条采样链，而 decode 阶段按输出行各建一条，导致图在 reserve 之后拓扑改变，GGML_SCHED_NO_REALLOC 构建会在下一个同尺寸图上中止。该版本使后端采样图在 ubatch 间保持静态。
AI 根据报道生成 · 39 分钟前更新
最新进展10月9日 22:20
llama.cpp b11530 修复后端采样图在 ubatch 间拓扑变化问题报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- llama.cpp Releasesllama.cpp b11530 修复后端采样图在 ubatch 间拓扑变化问题
llama.cpp 发布 b11530，修复后端采样图在 ubatch 间拓扑变化的问题：此前 reserve 阶段按 sampler 构建 n_outputs_max_per_seq 条采样链，而 decode 阶段按输出行各建一条，导致图拓扑改变，GGML_SCHED_NO_REALLOC 构建在下一个同尺寸图上中止。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。