Hugging Face tokenizers v1 发布：编码解码与扩展性能实测

Hugging Face 发布 tokenizers v1，输出与 v0.23 完全一致的 token ID，但速度常快数十倍。v1 将单一 crate 拆为工作区，引入无分配合并、bitcannon 位流 SIMD 切分、侵入式双向链表合并循环、线程本地词缓存和原生多线程并行，并保持对 BPE、WordPiece、Unigram 的通用支持。