Lilian Weng 详解 Scaling Laws：从早期损失可预测性到算力最优分配

Lilian Weng 撰文梳理 Scaling Laws 的经验基础，指出训练损失 L 随模型规模 N、数据量 D 和算力 C 按幂律下降，在对数坐标上呈直线，核心是在 N 与 D 之间最优分配算力，常用近似为 C ≈ 6ND。