llama.cpp Releases· github-actions[bot]·· 7 小时前AI 评分18
llama.cpp b11906 将 concat 重写为全类型单行 kernel
b11906
AI 导读
llama.cpp 发布 b11906,将 ggml-cpu 的 concat 重写为覆盖所有类型的单行 kernel:稠密源行一次 memcpy,量化类型同样适用,跨步源按编译期已知元素大小逐元素拷贝。行按线程切分而非仅按 i2,并以 32 为块拷贝,转置源按外层循环遍历元素以减少跨行跳转。test_concat 新增转置 b 用例(delta-net conv 输入布局)及对应性能用例。
来源:llama.cpp Releases · github.com