llama.cpp Releases· github-actions[bot]·· 6 小时前AI 评分18
llama.cpp b11822 修复 qwen4exp 层输入以支持 DFlash 草稿模型
b11822
AI 导读
llama.cpp b11822 修复了 qwen4exp 目标模型配合 DFlash 草稿模型时的层输入不匹配问题:qwen4exp 将 hc-wide 残差按 [n_embd, hc, n_tokens] 发布,而 drafter 按 [n_embd, n_tokens] 读取,导致首个请求在 extract_layer_inputs 中中止。
来源:llama.cpp Releases · github.com