Express 工具将非因果注意力近似转为因果近似

研究者 Albert Gong 等人发布 Express 工具，声称可将非因果注意力近似转换为因果近似，并保持相匹配的近似保证。该工作提供了基于 Triton 的实现。 据论文描述，Express 与 Thinformer 结合后，对长度为 n 的序列可实现 log^{3/2}(n)/s 的近似误差，仅需 O(s) 内存和 O(s^2 log^2(n)) 压缩开销。上述效果为论文中的说法。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。