研究：ELBO超参学习的SNR偏差由协方差假设决定

一项关于贝叶斯线性回归的研究发现，在变分推断中，基于ELBO的超参数学习会因高斯近似后验的协方差矩阵假设而高估或低估信噪比（SNR），从而在过拟合与欠拟合之间产生偏差。 研究者Ethan Harvey、Geoff Pleiss和Michael C. Hughes指出，对角或低秩加对角协方差矩阵会低估SNR，并使训练集均方误差偏高，表现为欠拟合；低秩协方差矩阵则高估SNR，使误差偏低，表现为过拟合。 研究者提示，希望将方法扩展到大规模模型的贝叶斯实践者需警惕：为可计算性而采用的协方差假设会影响模型选择。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。