arXiv：cs.AI（全量分类）· Yuhao Du, Shunian Chen·2026-09-30 12:00· 1 天前AI 评分41

预分词边界的压缩代价：Token 边界如何影响压缩与预测

The Price of Token Boundaries: Compression Certificates and Prediction

AI 导读

研究量化了预分词边界带来的压缩代价：在英文维基百科上，边界规则使最优 token 数增加 28.3%–36.8%，BPE 比受限下界高 2.1%，但比无限制下界高 10.9%。