AWT:免训练激活感知权重张量化压缩方法
热点事件持续更新
AWT:免训练激活感知权重张量化压缩方法
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
Alessandro Beatini、Marco Maronese、Emanuele Rodolà 提出 Activation-aware Weight Tensorization(AWT),一种免训练的校准封装:在不改动原有 TT/TTN 求解器的前提下,用激活导出的对角缩放对每个权重矩阵做预条件,部署时只需在输入端做逐元素重缩放。 该方法面向张量网络 LLM 压缩,目标是在既有张量分解流程前利用激活信息改善权重张量化效果,且无需重新训练。目前报道只给出方法设计,未提供压缩率、精度对比等实测结论。
AI 根据报道生成 · 1 小时前更新
最新进展10月8日 12:00
AWT:面向张量网络 LLM 压缩的激活感知权重张量化预条件方法报道时间线
沿着报道,了解事件的不同侧面。
10月8日
- arXiv:cs.LGAWT:面向张量网络 LLM 压缩的激活感知权重张量化预条件方法
研究提出 Activation-aware Weight Tensorization(AWT),一种免训练的校准封装,在 TT/TTN 分解前用激活导出的对角缩放对权重矩阵做预条件,部署时仅需输入端逐元素重缩放。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。