跳到正文
热点事件持续更新

llama.cpp 将三项上下文状态测试合并为单一二进制

1 篇报道1 个报道来源9 小时前更新

先了解这件事

AI 综述

llama.cpp 发布 b11596,把 test-save-load-state、test-recurrent-state-rollback 和 test-state-restore-fragmented 三个上下文状态测试合并为单一二进制 test-llama-context。三者原本从三个地方检查同一对象:llama_context 的 KV cache 与循环状态,包括保存、加载、复制和回滚。合并后以用例为单位组织,一次运行即可覆盖 130 个模型。 该版本还改动了测试的加载与内存分配方式:模型改为多线程加载(-j/--threads,默认 min(cores, 4)),表格在完成后打印,失败模型的日志按行序紧随其后打印;暂存不再经由环境变量传递,llama_model_set_attn_rot 取代 LLAMA_ATTN_ROT_DISABLE,避免一个线程加载的模型改变其他线程正在加载的模型,并新增 llama_memory_get_buffers 用于复制内存缓冲区的场景。 在 macOS 上,开启线程 sanitizer 时 ggml_aligned_malloc 改用 Mach VM 分配,而该分配方式不被 sanitizer 拦截,因此它看不到页范围易主,会把写入回收内存的首次写报告为竞争——本次测试中出现 30 次,据该报道均为误报。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. llama.cpp Releases
    llama.cpp b11596 将上下文状态测试合并进 test-llama-context

    llama.cpp 发布 b11596,把 test-save-load-state、test-recurrent-state-rollback 和 test-state-restore-fragmented 三个上下文状态测试合并为单一二进制 test-llama-context,以用例为单位组织,一次运行即可覆盖 130 个模型。

本事件热度走势

可比范围当前
8
可比范围峰值
810月14日 04:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。