llama.cpp Releases· Captain-Tripps·· 6 小时前AI 评分22
llama.cpp b11902:SYCL 新增 set_tensor_2d,加速 tensor-split 模型加载
b11902: sycl: add set_tensor_2d for faster tensor-split loading (#30358)
AI 导读
llama.cpp b11902 为 SYCL 后端新增 set_tensor_2d,将连续目标行打包成最大 64 MiB 的批次上传,避免逐行拷贝。在两块 Arc Pro B70 上加载 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 总运行时间从 263-268 s 降至 114-115 s。全量回读校验覆盖 26,784,256 行,未发现不匹配。
来源:llama.cpp Releases · github.com