llama.cpp Releases· github-actions[bot]·· 9 小时前AI 评分12
llama.cpp b11856 新增投机拒绝采样测试
b11856
AI 导读
llama.cpp 发布 b11856,在 tests 中新增投机拒绝采样测试,用于验证投机草稿模型产出的 token 与目标模型分布一致,拒绝采样后仍保持与直接采样目标模型相同的概率分布。测试通过 ctest 运行,可指定 --n_trials 5000,首次运行会生成目标模型与草稿模型,后续可用 fixture exclude any 选项跳过重建。
来源:llama.cpp Releases · github.com