FreeSolo：零样本长度外推的稀疏注意力

Zekun Shi 与 Alastair James Arthur Price 发表 FreeSolo，一种原生稀疏注意力机制：短程滑动窗口分支负责局部，长程分支挑选关键单元（keypoint cells）直接做 token 注意力计算。它无需长上下文微调即可实现零样本长度外推，表现优于基线。 FreeSolo 有两个线性时间变体：FS-L 在查询相关选择之前，通过短程持续预训练（CPT）学习剪枝前缀；FS-B 用平衡树搜索，算法开销为 O(N log² N)。论文称两者均为线性时间。上述结论来自作者在论文中的表述，尚未见独立验证。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。