研究提出生成式表征学习潜空间分词法

Alan Baade 等作者提交论文，提出一种自监督表征学习方法，通过分解数据的逐点互信息来监督表征损失，可用作生成建模的 tokenizer；论文称该方法避免了 DINO 和 LeJEPA 等方法出现的维度坍缩与特征抑制。 论文称其实现可扩展的潜在 tokenization，相比 DINOv2 减少 7 倍 FLOPs。上述效果与对比结论均来自作者自述。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。