稀疏解码研究：保留注意力质量难保贪心一致

一项针对稀疏解码的研究在 Qwen2-0.5B 上发现，保留的注意力质量并不能保证稳定的贪心决策：60 次配对实验中，没有一个运行能在 128 token 内与稠密解码保持完全一致。 该研究名为 Attention-Mass Condensation，结论指向稀疏解码方法的一个局限——注意力质量层面的保留并不等价于逐 token 决策与稠密解码一致。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。