跳到正文
热点事件持续更新

llama.cpp SYCL 新增 set_tensor_2d 加速模型加载

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

llama.cpp b11902 为 SYCL 后端新增 set_tensor_2d:当目标行连续时,把主机行打包成最大 64 MiB 的批次,一次上传,不再逐行拷贝;目标行不连续、单行过大或暂存不可用时,仍走逐行上传路径。 在两块 Arc Pro B70 上加载 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 总运行时间从 263–268 秒降至 114–115 秒;全量回读校验覆盖 26,784,256 行,未发现不匹配。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. llama.cpp Releases
    llama.cpp b11902:SYCL 新增 set_tensor_2d,加速 tensor-split 模型加载

    llama.cpp b11902 为 SYCL 后端新增 set_tensor_2d,将连续目标行打包成最大 64 MiB 的批次上传,避免逐行拷贝。在两块 Arc Pro B70 上加载 gpt-oss-120b UD-Q4_K_XL,llama-perplexity 总运行时间从 263-268 s 降至 114-115 s。全量回读校验覆盖 26,784,256 行,未发现不匹配。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。