研究者提出统一线性注意力的设计-模型框架
热点事件持续更新
研究者提出统一线性注意力的设计-模型框架
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Matthew Dowling、Hyungju Jeon、Cristina Savin 和 Il Memming Park 发表预印本论文，提出 design-model 框架，从对记忆的显式假设推导高效循环序列映射，其线性-高斯实例 Bayesian Layer 同时传播均值和协方差，追踪存储关联的不确定性。 论文称，在 WikiText-103 上从零训练、状态预算匹配时，该层在联想回忆命中上降低了困惑度；将 Bayesian Layer 蒸馏进预训练的 340M Gated DeltaNet，在匹配算力对照下改善了 RULER 长上下文检索，代价是留出集困惑度上升 2.5–2.7%。上述效果均为论文自述，尚待独立验证。
AI 根据报道生成 · 58 分钟前更新
最新进展10月9日 12:00
Memory by Design：概率序列层如何统一线性注意力、GLA 与 Mamba-2报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.LGMemory by Design：概率序列层如何统一线性注意力、GLA 与 Mamba-2
研究者提出 design-model 框架，从显式记忆假设推导高效循环序列映射，其线性-高斯实例 Bayesian Layer 同时传播均值与协方差，追踪存储关联的不确定性。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。