跳到正文
热点事件持续更新

研究提出LLM压缩能力缩放规律框架

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

Xueqi Cheng等作者发表论文，系统考察剪枝、量化与蒸馏三类大语言模型压缩方法的能力缩放下降规律，在数学、代码生成和问答任务上测量能力损失，并建立可预测的简单关系式。 论文称，跨剪枝层级共享密度响应可将拟合剪枝预测器所需的配置测量量减半；在Pythia新状态、预注册的OLMo-2测试状态及Wanda剪枝下，该紧凑关系与全量测量回归在数学和代码上的差距在0.020 nats per token以内。代码已公开。

AI 根据报道生成 · 1 小时前更新

最新进展10月5日 12:00
LLM 压缩的能力缩放下降定律

报道时间线

沿着报道，了解事件的不同侧面。

10月5日
  1. arXiv：cs.LG
    LLM 压缩的能力缩放下降定律

    研究系统考察了剪枝、量化与蒸馏三类 LLM 压缩方法的能力缩放下降规律，在数学、代码生成和问答任务上测量能力损失，并建立可预测的简单关系式。跨剪枝层级共享密度响应可将拟合剪枝预测器所需的配置测量量减半，在 Pythia 新状态、预注册的 OLMo-2 测试状态及 Wanda 剪枝下，该紧凑关系与全量测量回归在数学和代码上的差距在 0.020 nats per token 以内。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。