跳到正文
原文
llama.cpp Releases· github-actions[bot]·AI 评分22

llama.cpp b11368 为简单 draft 与 MTP 引入概率采样

b11368

AI 导读

llama.cpp 发布 b11368,为简单 draft 与 MTP 引入概率采样:drafter 改为概率采样,target 端用拒绝采样验证,并新增开关启用概率 draft 采样,默认仍为贪心。该版本同时支持语法约束请求的拒绝采样,并修复 draft sampler 与 target 共用 rng 流、重放时重新接受 draft token 等问题。

来源:llama.cpp Releases · github.com