Traj-MC：扩散语言模型的轨迹感知低秩压缩

Tian Liang、Zishan Shao、Yiran Chen 发表论文，提出面向扩散语言模型（dLLM）的轨迹感知低秩压缩方法 Traj-MC，用于解决压缩时校准态与推理态不匹配的问题。该方法通过蒙特卡洛采样估计轨迹二阶矩，作者称其可实现采样态最优性与总体一致性。 作者称，在相同压缩预算下，轨迹感知校准比干净校准更好地重建生成轨迹，并在数学推理基准上保留显著更多推理能力。代码已开源。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。