二阶循环模型实现无限上下文窗口

Aleix Salvador-Pomarol 等人提出一种二阶循环神经网络模型，用离散化偏微分方程驱动的空间演化场取代传统神经元间通信，据此构建出等效的结构化无限阶 RNN，其当前状态显式依赖全部历史状态，在固定参数量下获得有效无界感受野。 该研究称，模型通过将梯度谱约束在单位圆上保证边际稳定性，从而消除梯度消失与爆炸，并在长程基准上以显著更少的参数超越其他递归模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。