跳到正文
原文
llama.cpp Releases· github-actions[bot]·AI 评分18

llama.cpp b11345 为 Hexagon NPU 新增 q2_k 与 q3_k 量化类型支持

b11345

AI 导读

llama.cpp 发布 b11345,为 Hexagon NPU 后端新增 q2_k 和 q3_k 量化类型支持,并统一了 hex-qk 中 src1_row_size 的内存分配。该改动由高通 Max Krasnyansky 参与提交,相关构建覆盖 Snapdragon 平台的 CPU、Adreno GPU 与 Hexagon NPU。

来源:llama.cpp Releases · github.com