论文提出考虑样本重复的数据密度缩放律

Alvard Barseghyan 等作者提交论文，提出一个修正版 Chinchilla 式缩放律，在公式中同时计入唯一样本数量和每个样本的重复次数，用于图像自蒸馏模型。 作者在 Maxar、SATLAS、Waymo、nuPlan、Ego4D、ImageNet 和 YFCC15M 上的实验显示，重复样本对下游性能的影响因数据集而异；在某些设置下，反复训练较小的随机子集反而优于训练更大的唯一样本集。 该结论来自作者的实验与提出的公式，尚未写成已获普遍验证的规律。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。