鲁棒Langevin采样放宽LLM贝叶斯微调假设

M. Berk Sahin 等作者提交论文，提出 R-LMC、A-LMC 和 RA-LMC 三种鲁棒 Langevin 采样方法，用于大语言模型的贝叶斯微调。此前非对数凹采样通常假设全局 Lipschitz 梯度与噪声方差有界，该研究将这两项假设放宽。 论文称，新方法通过几何中位数中心化、残差裁剪与噪声感知步长，处理态依赖的有限 p 阶矩重尾噪声，其中 1<p≤2，p<2 时允许方差无限。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。