跳到正文
热点事件观察中

IrekoGPT：事后可伸缩LLM剪枝方法

1 篇报道1 个报道来源2 天前更新

先了解这件事

报道摘要

IrekoGPT 是一种事后方法，可将预训练 LLM 转换为推理时宽度可调的 slimmable 模型。它基于 SliceGPT，保留其投影矩阵不做剪枝，使单一模型暴露不同宽度的嵌套子网络，并通过跨多个压缩比校准每层、用无梯度岭回归修正下游线性层。在 Llama 和 Qwen 模型上，初步结果显示其优于朴素 PCA 剪枝，高压缩率下增益最大。

摘自 arXiv：cs.LG

最新进展10月3日 12:00
IrekoGPT：将结构化剪枝变为事后可伸缩 LLM

报道时间线

沿着报道，了解事件的不同侧面。

10月3日
  1. arXiv：cs.LG
    IrekoGPT：将结构化剪枝变为事后可伸缩 LLM

    IrekoGPT 是一种事后方法，可将预训练 LLM 转换为推理时宽度可调的 slimmable 模型。它基于 SliceGPT，保留其投影矩阵不做剪枝，使单一模型暴露不同宽度的嵌套子网络，并通过跨多个压缩比校准每层、用无梯度岭回归修正下游线性层。在 Llama 和 Qwen 模型上，初步结果显示其优于朴素 PCA 剪枝，高压缩率下增益最大。

本事件热度走势

可比范围当前
3
可比范围峰值
710月4日 01:00
近 24 小时变化
-51%

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。