选择性状态空间模型分布式学习收敛性分析
热点事件持续更新
选择性状态空间模型分布式学习收敛性分析
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Adam Piaseczny 等作者提交论文,针对 Mamba2 等选择性状态空间模型在分布式学习中行为不明的问题,推导出单层与多层选择性 SSM 的架构感知梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。 团队在教师 SSM 生成序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法在 Mamba2 语言建模上的表现。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
选择性状态空间模型的分布式学习:架构感知的收敛性分析报道时间线
沿着报道,了解事件的不同侧面。
10月5日
- arXiv:cs.LG选择性状态空间模型的分布式学习:架构感知的收敛性分析
研究针对 Mamba2 等选择性 SSM 在分布式学习中行为不明的问题,推导了单层与多层选择性 SSM 的架构感知梯度与平滑性边界,以及 FedAvg 和 FedProx 的收敛边界,刻画循环稳定性、输入相关离散化和状态投影范数对联邦优化的影响。团队在教师 SSM 生成序列上数值验证了单层边界,并在六个文本域上对比九种联邦学习算法在 Mamba2 语言建模上的表现。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。