Hugging Face tokenizers v1 发布:编码解码与扩展性能实测
Hugging Face 发布 tokenizers v1,输出与 v0.23 完全一致的 token ID,但速度常快数十倍。v1 将单一 crate 拆为工作区,引入无分配合并、bitcannon 位流 SIMD 切分、侵入式双向链表合并循环、线程本地词缓存和原生多线程并行,并保持对 BPE、WordPiece、Unigram 的通用支持。
Hugging Face 发布 tokenizers v1,输出与 v0.23 完全一致的 token ID,但速度常快数十倍。v1 将单一 crate 拆为工作区,引入无分配合并、bitcannon 位流 SIMD 切分、侵入式双向链表合并循环、线程本地词缓存和原生多线程并行,并保持对 BPE、WordPiece、Unigram 的通用支持。
微软研究院推出 GigaPath-Flash 和 GigaTIME-Flash,以蒸馏自十亿参数 GigaPath 编码器的 22M 参数 ViT-S 骨干大幅降低病理分析算力需求,均以 Apache 2.0 许可开源。
METR 研究显示 AI 对科研的加速并不均衡:2026 年网络安全漏洞报告速度较 2025 年大幅加快,数学领域仅小幅加速,AI 研究本身则无可测量加速。多校团队提出 SPADE 框架,让 LLM 交替生成可执行训练环境并求解,在 Qwen3-30B-A3B 上游戏环境套件均分达 58.3,较基线提升 8.1。