Hugging Face Blog·· 10d agoFeaturedAI Score65
Hugging Face 发布 tokenizers v1 候选版本
tokenizers v1: encode, decode and scaling, measured
AI Summary
Hugging Face 发布了 tokenizers v1 候选版本，在完全保持原有输出、API、词表与合并规则的前提下，通过工作空间拆分、bitcannon SIMD 分割、word cache 缓存、零分配合并循环及原生并行等优化，使编码速度较 v0.23 提升 3 到 30 倍。
Why Recommended
官方发布了 tokenizers v1 候选版本，通过架构重构与底层优化大幅提升了编码与解码速度，为高并发与大规模训练场景减少了性能瓶颈。
Source: Hugging Face Blog · huggingface.co