跳到正文
热点事件持续更新

研究者提出动力学启发优化器 KO

1 篇报道1 个报道来源6 小时前更新

先了解这件事

AI 综述

Mingquan Feng、Yixin Huang、Yifan Fu、Shaobo Wang、Junchi Yan 发表论文,提出即插即用优化模块 KO(Kinetics-inspired Optimizer)。该模块将参数动力学建模为粒子系统,通过离散 Boltzmann 传输方程引入随机相互作用,以提升参数多样性并缓解权重凝聚。作者称,理论分析证明 KO 在保持收敛保证的同时可证明地增加参数多样性。 在 CIFAR-10/100、ImageNet 图像分类和大规模语言模型预训练中,作者称 KO 以可忽略的额外计算成本持续提升准确率。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv:cs.LG
    KO:受动力学启发的神经优化器,用 PDE 模拟方法优化神经网络

    研究者提出即插即用优化模块 KO(Kinetics-inspired Optimizer),将参数动力学建模为粒子系统,通过离散 Boltzmann 传输方程引入随机相互作用,以提升参数多样性并缓解权重凝聚。理论分析证明 KO 在保持收敛保证的同时可证明地增加参数多样性。在 CIFAR-10/100、ImageNet 图像分类和大规模语言模型预训练中,KO 以可忽略的额外计算成本持续提升准确率。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。