OptiSelect：优化器如何影响数据选择
热点事件持续更新
OptiSelect：优化器如何影响数据选择
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者提出优化器感知的在线数据选择范式 OptiSelect，并首次系统研究优化器如何塑造数据选择。作者称，理论证明 Lion 和 Muon 的符号型与极切向预条件器会遭遇可判别性崩塌，限制选择增益，而 AdamW、Sophia 等对角自适应优化器具有更优上界。 在 124M 和 720M 模型上的预训练实验与理论一致：即使以 Muon 为优化器，AdamW 的对角自适应评分几何仍最强。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
OptiSelect：优化器如何塑造数据课程？报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.LGOptiSelect：优化器如何塑造数据课程？
研究者提出优化器感知的在线数据选择范式 OptiSelect，首次系统研究优化器如何影响数据选择。理论证明 Lion 和 Muon 的符号型与极切向预条件器会遭遇可判别性崩塌，限制选择增益，而 AdamW、Sophia 等对角自适应优化器具有更优上界。在 124M 和 720M 模型上的预训练实验与理论一致，即使以 Muon 为优化器，AdamW 的对角自适应评分几何仍最强。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。