跳到正文
热点事件持续更新

AWT:免训练激活感知权重张量化压缩方法

1 篇报道1 个报道来源3 小时前更新

先了解这件事

AI 综述

Alessandro Beatini、Marco Maronese、Emanuele Rodolà 提出 Activation-aware Weight Tensorization(AWT),一种免训练的校准封装:在不改动原有 TT/TTN 求解器的前提下,用激活导出的对角缩放对每个权重矩阵做预条件,部署时只需在输入端做逐元素重缩放。 该方法面向张量网络 LLM 压缩,目标是在既有张量分解流程前利用激活信息改善权重张量化效果,且无需重新训练。目前报道只给出方法设计,未提供压缩率、精度对比等实测结论。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月8日
  1. arXiv:cs.LG
    AWT:面向张量网络 LLM 压缩的激活感知权重张量化预条件方法

    研究提出 Activation-aware Weight Tensorization(AWT),一种免训练的校准封装,在 TT/TTN 分解前用激活导出的对角缩放对权重矩阵做预条件,部署时仅需输入端逐元素重缩放。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。