Spora 联合设计脉冲编码与注意力算子

Hanfei Liu 等作者发布论文提出 Spora，通过联合设计脉冲编码与注意力算子，缓解脉冲语言模型在时间窗口语义表达与非线性注意力计算之间的权衡。 Spora 的二进制时间权重让 T 个脉冲可表示至多 T 比特的组合值，而脉冲计数读出仅需 O(log₂T) 比特；其 UBS 用阈值与脉冲触发残差衰减生成非负整数编码，BBS 则分离符号与幅值并学习有符号激活的缩放。论文称这些设计缓解了上述权衡。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。