llama.cpp Releases· sandrohanea·· 4 小时前AI 评分18
llama.cpp b11612 为 Unigram tokenizer 加入可选 NFC 归一化
b11612: unicode : add opt-in NFC normalization for Unigram tokenizers (#30390)
AI 导读
llama.cpp 发布 b11612，为 Unigram tokenizer 加入可选的 NFC 归一化（#30390）。该改动由 Codex、Sol 6.1 Medium 协助完成，并修复了初始机器人评论与 linter 报错，同时移除了 test_nfc_tokenizer。
来源：llama.cpp Releases · github.com