前向学习算法能耗硬件基准研究

一项在 NVIDIA A100 上进行的近 1000 次实验显示，前向学习算法总体并不比调优后的反向传播（BP）基线更省电：Forward-Forward 能耗为 BP 的 4.1 至 6.3 倍，Cascaded Forward 为 3.0 至 7.1 倍。 唯一例外是 Mono-Forward：在与 BP 相同数据遍历次数下，它在最大的 3x2000 多层感知机上少用 12.5%–19.9% 能耗、少占 24.6%–27.5% 内存，功率更低且墙钟时间接近，CIFAR-100 准确率与 BP 统计相当。若训练到收敛，其准确率虽高出 3.90 和 5.04 个百分点，但需 3.5–4.5 倍遍历和 3.2–4.0 倍能耗。 预注册消融实验指出，梯度分离而非辅助损失是被测设定下的主导因素。结论受具体算法、数据集和硬件条件限定。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。