llama.cpp SYCL 新增 set_tensor_2d 加速模型加载
热点事件持续更新
llama.cpp SYCL 新增 set_tensor_2d 加速模型加载
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
llama.cpp b11902 为 SYCL 后端新增 set_tensor_2d:当目标行连续时,把主机行打包成最大 64 MiB 的批次,一次上传,不再逐行拷贝;目标行不连续、单行过大或暂存不可用时,仍走逐行上传路径。 在两块 Arc Pro B70 上加载 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 总运行时间从 263–268 秒降至 114–115 秒;全量回读校验覆盖 26,784,256 行,未发现不匹配。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 22:12
llama.cpp b11902:SYCL 新增 set_tensor_2d,加速 tensor-split 模型加载报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- llama.cpp Releasesllama.cpp b11902:SYCL 新增 set_tensor_2d,加速 tensor-split 模型加载
llama.cpp b11902 为 SYCL 后端新增 set_tensor_2d,将连续目标行打包成最大 64 MiB 的批次上传,避免逐行拷贝。在两块 Arc Pro B70 上加载 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 总运行时间从 263-268 s 降至 114-115 s。全量回读校验覆盖 26,784,256 行,未发现不匹配。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。