llama.cpp Releases· github-actions[bot]·· 4 小时前AI 评分42
llama.cpp b11946 发布:server 新增 /v1/realtime 实时对话与转写
b11946
AI 导读
llama.cpp 发布 b11946,server 在 /v1/realtime 端点新增实时对话与转写能力,实时客户端默认连接服务器端口 9931。该版本还修复了并发会话输出串扰问题:此前采样在下一步开始时读取最后解码 slot 的 logits,导致多会话输出混合,现在实时响应在各自解码后立即采样。
来源:llama.cpp Releases · github.com