JSSA 稀疏注意力论文发布

Jiwon Song 等作者发布论文，提出面向高效长上下文解码的稀疏注意力方法 Joint Subspace Sparse Attention（JSSA）。该方法让 query 与 key 共享低维子空间学习，并设计了免 gather 的 token 级索引注意力 kernel，作者称其在 GQA、混合滑窗/全局注意力和 MLA 模型上都能保持接近全 KV 的精度。 作者给出的测试数据显示：在 NVIDIA B200 GPU 上、128K 上下文时，JSSA 解码吞吐最高可达全 KV 注意力的 6.43 倍；无需模型训练即可达到与模型原生 DSA 相当的推理精度，在 700B 规模大模型上也能保持其解码吞吐的 96%–99%。论文同时提到，直接细化精确目标在测试设置中没有带来可测量的改进。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。