热点事件持续更新
大语言模型残差流剪枝新方法
1 篇报道1 个报道来源17 小时前更新
先了解这件事
AI 综述
2026年10月3日，arXiv cs.LG 分类发布一篇论文，研究者提出一种面向大语言模型的输出感知残差流剪枝方法。该方法通过输出 KL 散度的二阶近似，将子空间选择转化为敏感度加权协方差矩阵的特征分解，兼顾效率与旋转式剪枝的结构简洁性。在多个指令微调语言模型家族上的实验显示，相比仅基于激活的剪枝，该方法持续降低校准 KL 散度，并在多种压缩率下改善困惑度和下游任务表现。研究结果表明，仅保留激活能量不足以支撑残差流剪枝，需显式考虑扰动如何传播至模型输出。目前该工作以预印本形式公开，尚无后续进展报道。
AI 根据报道生成 · 4 小时前更新
最新进展10月3日 12:00
arXiv 发布输出感知残差流剪枝方法，实验显示优于仅基于激活的剪枝。报道时间线
沿着报道，了解事件的不同侧面。
10月3日
- arXiv：cs.LG（机器学习，全量分类）面向大语言模型的输出感知残差流剪枝方法
研究者提出一种敏感度感知的残差流剪枝方法，通过输出 KL 散度的二阶近似，将子空间选择转化为敏感度加权协方差矩阵的特征分解，兼顾效率与旋转式剪枝的结构简洁性。在多个指令微调语言模型家族上，该方法相比仅基于激活的剪枝持续降低校准 KL 散度，并在多种压缩率下改善困惑度和下游任务表现。结果表明，仅保留激活能量不足以支撑残差流剪枝，需显式考虑扰动如何传播至模型输出。
本事件热度走势
当前热度 6·可比范围峰值 7（10月4日 01:00）·近 24 小时可比范围变化 –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。