跳到正文
llama.cpp Releases· 0cc4m·· 4 小时前AI 评分12

llama.cpp b11854 发布:Vulkan 后端支持 ggml src1 精度

b11854: vulkan: ggml src1 precision support (#30656)

AI 导读

llama.cpp 发布 b11854 版本,为 Vulkan 后端加入 ggml src1 精度支持(#30656)。更新改进了累加器精度选择,通过缩放处理 fp32 溢出,并覆盖 copy-to-fp16 激活中的溢出情况,同时补充缺失用例、简化代码并新增测试。改动还引入 ggml 精度获取辅助函数供 Vulkan 后端使用,并处理 fp32 src0、修正 mul_mat 中的不一致问题。

来源:llama.cpp Releases · github.com