研究提出 Cola2 分层语言建模框架

论文作者提出 Cola2 分层语言生成框架，将连续语义压缩与离散文本生成放在一起联合建模，并用与辅助损失无关的负反馈控制压缩率。该框架采用块因果掩码扩散解码器和无分类器引导，在重构与生成之间取得平衡。作者称，在约 2100 亿训练 token 的五个下游任务上，已能验证该设计的有效性；这些结果都来自作者的实验，尚未独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。