研究证明Transformer对次高斯数据稳定

一项数学研究证明，Transformer 能把次高斯输入映射为次高斯输出，从而保证 softmax 算子任意长度复合的良定义性。 研究进一步证明 Transformer 关于 1-Wasserstein 距离满足 Hölder 连续性，并据此给出次高斯输入与其经验近似之间的误差传播估计。论文称，这些结果共同为次高斯数据上的 Transformer 提供了稳定性与有限样本理论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。