arXiv 发布 NoteBank 长上下文线性注意力研究
热点事件持续更新
arXiv 发布 NoteBank 长上下文线性注意力研究
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究者 Li Nanbo 等人在 arXiv 发布 NoteBank：一种面向线性注意力的稀疏情节记忆方法。该方法无需训练、即插即用，不使用外部嵌入模型、单独训练的检索器或独立神经阅读器，而是用主干模型的原生特征写入和寻址，并通过回放原生前向计算读取检索到的证据。 在 100 万 token 的测试中，NoteBank 将 Gated DeltaNet 在六项 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且从 4K 到 1M token 未出现明显检索退化。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
NoteBank 如何解锁线性注意力的长上下文能力报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AINoteBank 如何解锁线性注意力的长上下文能力
研究者提出稀疏情节记忆 NoteBank，无需训练、即插即用，通过回放原生前向计算读取证据，无需外部嵌入模型或独立检索器。在 100 万 token 下，它将 Gated DeltaNet 在六项 RULER 检索任务上的平均准确率从 1.7% 提升至 70.3%，且 4K 到 1M token 无明显检索退化。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。