arXiv 研究：高精度学习必然推高损失差条件互信息

arXiv 上一项 cs.LG 研究证明，学习器要达到高精度，其损失差条件互信息（ld-CMI）必然增大，二者存在权衡。具体结论是：在维度至少与样本量 n 线性相关的缩放符号立方体上、对乘积分布，若对零处斜率非零的平滑凸损失（如 logistic loss）加幂次 r≥2 的正则项，则在最优样本量 n≍ε^{-2+2/r} 下，任何期望超额风险不超过 ε 的 proper learner，其最坏情况 ld-CMI 为 n bits 量级。 该结论由研究者 Hazar Yueksel 提交发布，其依据是证明中对损失差三个矩的界定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。