跳到正文
llama.cpp Releases· lhez·· 11 小时前AI 评分20

llama.cpp b11986 为 OpenCL 后端加入 IQ2 量化初步支持

b11986: opencl: initial support for iq2 (#31267)

AI 导读

llama.cpp 发布 b11986,为 OpenCL 后端加入 IQ2 量化的初步支持,覆盖 iq2_s、iq2_xs、iq2_xxs 三种类型。新实现包含 AOS/SOA mv、tiled mm、面向 Adreno 的 noshuffle gemm/gemv 与 dp4a 路径,并优化了 Adreno 上的 decode 与窄批次场景。

来源:llama.cpp Releases · github.com