跳到正文
llama.cpp Releases· github-actions[bot]·· 9 小时前AI 评分17

llama.cpp b11597 发布:池化嵌入上下文跳过 LM head

b11597

AI 导读

llama.cpp b11597 中,提取池化嵌入的上下文不再展开 LM head,此前每个 token 仍会计算 n_vocab 个 logits 并保留对应 host buffer。模型现在只声明 t_logits,新增的 build_logits() 在 build_sampling() 之前构建 LM head,池化上下文同时跳过采样层。

来源:llama.cpp Releases · github.com