研究者提出ZIP-SR与ZE-EDEN 4比特量化方案
热点事件持续更新
研究者提出ZIP-SR与ZE-EDEN 4比特量化方案
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
研究者Hanyang Li等人发表论文，提出ZIP-SR与ZE-EDEN两种4-bit AdamW优化器状态量化方案，从“舍入空间”视角重新设计量化过程。其中，ZIP-SR在二阶矩码本中保留零，并在预条件子空间计算随机舍入概率。 两种方案的第一动量均采用4-bit NF4格式，并在训练最后10%对LM-head的第一动量做定向随机舍入。
AI 根据报道生成 · 45 分钟前更新
最新进展10月9日 12:00
在预条件子空间做舍入：4-bit AdamW 优化器状态量化重新设计报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- arXiv：cs.LG在预条件子空间做舍入：4-bit AdamW 优化器状态量化重新设计
研究者提出 ZIP-SR 与 ZE-EDEN 两种 4-bit AdamW 优化器状态量化方案，从"舍入空间"视角重新设计量化过程。两者第一动量均用 4-bit NF4，并在训练最后 10% 对 LM-head 第一动量做定向随机舍入。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。