重尾测度映射学习中的注意力核设计

1. 12:00
   arXiv：cs.LG

   重尾测度映射学习中的注意力核：post-norm Transformer 的慢增长核设计

   针对多项式尾概率测度上算子学习时 softmax 指数加权导致测度级注意力积分发散的问题，研究用增长更慢的函数替换指数，并构建了两个带闭式目标的基准。在无数据变换时，softmax 模型在两个重尾基准上出现集成坍缩，而三种慢增长核均避免坍缩；Symlog 预处理仅让 softmax 在矩阵求逆任务上避免坍缩，在 sheared swap 任务上仍失败。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。