跳到正文
热点事件持续更新

选择性状态空间模型分布式学习收敛性分析

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Adam Piaseczny 等作者提交论文,针对 Mamba2 等选择性状态空间模型在分布式学习中行为不明的问题,推导出单层与多层选择性 SSM 的架构感知梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。 团队在教师 SSM 生成序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法在 Mamba2 语言建模上的表现。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.LG
    选择性状态空间模型的分布式学习:架构感知的收敛性分析

    研究针对 Mamba2 等选择性 SSM 在分布式学习中行为不明的问题,推导了单层与多层选择性 SSM 的架构感知梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。团队在教师 SSM 生成序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法在 Mamba2 语言建模上的表现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。