热点事件持续更新
NAMOH：原生稀疏注意力实现参数与上下文扩展
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月1日，arXiv cs.CL 分类发布一篇论文，提出名为 NAMOH 的架构原生稀疏注意力机制。该机制让每个 token 只激活 H 个注意力头中的 K 个，每个头仅保留分配给自己的 token，并在该子序列内进行因果注意力计算。报道称，这一设计使参数扩展能够直接带动上下文扩展。目前该工作处于论文发布阶段，除上述机制描述外，尚无更多实验或应用进展的公开信息。
AI 根据报道生成 · 2 小时前更新
最新进展10月1日 12:00
arXiv 发布 NAMOH 论文，提出每个 token 仅激活部分注意力头的原生稀疏注意力机制。报道时间线
沿着报道，了解事件的不同侧面。
10月1日
- arXiv：cs.CL（计算语言学，全量分类）NAMOH：来自 Mixture-of-Head 的原生稀疏注意力，让参数扩展直接带动上下文扩展
研究者提出 NAMOH，一种架构原生稀疏注意力机制，每个 token 只激活 H 个注意力头中的 K 个，每个头仅保留分配给自己的 token 并在该子序列内做因果注意力。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。