热点事件持续更新
混合 Transformer-SSM 学习率迁移研究
1 篇报道1 个报道来源14 小时前更新
先了解这件事
AI 综述
2026年10月3日，arXiv cs.LG 分类发布一项关于混合 Transformer-SSM 架构学习率迁移的研究。研究在宽度 256-2048、深度 4-32 的混合架构中测试，发现仅用原始 μP 方案即可实现近零学习率迁移差距，最优学习率对宽度在 8 倍范围内保持不变，且该不变性跨深度、序列长度、批大小以及 Transformer 与 SSM 的比例成立。目前该研究以预印本形式公开，尚无后续报道或独立验证。
AI 根据报道生成 · 2 小时前更新
最新进展10月3日 12:00
arXiv 发布研究：混合 Transformer-SSM 架构仅用原始 μP 即可近零学习率迁移差距。报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）混合 Transformer-SSM 架构的学习率迁移研究
研究发现在宽度 256-2048、深度 4-32 的混合 Transformer-SSM 架构中，仅用原始 μP 方案即可实现近零学习率迁移差距，最优学习率对宽度在 8 倍范围内保持不变，且该不变性跨深度、序列长度、批大小和 Transformer 与 SSM 的比例成立。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。