开源权重LLM推理能效实测：多数配置高耗低效

一项新研究直接测量了 86 个开源权重模型 checkpoint 在七个 benchmark、六种硬件平台（从消费级 GPU 到八卡服务器）上的推理能效，结论是多数配置远未达到分数—能耗的 Pareto 前沿：能耗中位数比同分数的最优配置高 2.6–4.8 倍，最高达 27 倍。 研究还给出两项可操作的差异：开启思考模式平均增加约 3.7 倍能耗；改用 FP8 则降低约四分之一能耗，且分数变化不大。这些数字刻画的是所测配置的整体分布，并非对任一具体模型或硬件的保证。 该研究由 Zeyu Yang、Wes Armour 发表，测量范围限于上述 86 个 checkpoint 与六种平台，未覆盖的模型和硬件不在结论之内。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。