TokenGate：可学习Token剪枝加速长上下文预填充

论文作者提出 TokenGate，一个可插拔的小型组件，在已有训练好的模型上做端到端的可学习 token 剪枝，以加快长上下文预填充并降低内存占用。作者称，借助受 MoE 启发的 token-gated attention 解决 top-K 不可微问题后，它在多项任务上实现 1.4–11.3 倍更快的首 token 延迟（TTFT）和 1.5–3.4 倍更低的峰值内存，且无精度损失；相比此前最佳剪枝方法，预填充快至 6.4 倍、峰值内存降低 2 倍。上述效果均为作者报告，尚待独立验证。

AI 根据报道生成 · 14 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。