Deflating Hessian：面向扩散Transformer的秩-4 W4A4量化框架
热点事件持续更新
Deflating Hessian：面向扩散Transformer的秩-4 W4A4量化框架
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者 Shiwen Wang、Pengxiang Zhao、Xiaoming Yuan 在 arXiv 公开论文，提出 Deflating Hessian 框架，用于多模态扩散 Transformer 的 W4A4（4 比特权重与激活）训练后量化。该框架将低秩辅助的 W4A4 训练后量化建模为耦合校准问题，从联合目标推导基于优化的求解器。 方法包含两项设计：通过“收缩 Hessian”扣除低秩分量已捕获的残差误差，并引入激活噪声代理抑制激活量化误差。据作者称，这两项机制分别针对权重与激活量化中的误差来源。
AI 根据报道生成 · 53 分钟前更新
最新进展10月9日 12:00
Deflating Hessian：面向多模态扩散 Transformer 的秩-4 W4A4 量化报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.LGDeflating Hessian：面向多模态扩散 Transformer 的秩-4 W4A4 量化
研究者提出 Deflating Hessian（\method{}）框架，将低秩辅助的 W4A4 训练后量化建模为耦合校准问题，通过"收缩 Hessian"扣除低秩分量已捕获的残差误差，并引入激活噪声代理抑制激活量化误差。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。