LESSER：输出层梯度做数据选择，成本大降
热点事件持续更新
LESSER：输出层梯度做数据选择，成本大降
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Lyuxin David Zhang 等作者提交论文，提出后训练数据选择方法 LESSER：只需前向传播即可近似全参数梯度特征，作为选择方法的即插即用封装，将特征提取的 FLOP 成本在 SFT 上降低 9.7 倍、在 RL 基准上降低 3.0 倍，同时在下游任务上保持与全梯度方法相当的性能。 研究还发现，即使输出层梯度与全梯度对单样本的排序不同，二者选出的批次梯度仍是对齐的。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
LESSER：用输出层梯度做后训练数据选择报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.LGLESSER：用输出层梯度做后训练数据选择
LESSER 是一种基于输出层梯度的后训练数据选择方法，只需前向传播即可近似全参数梯度特征，将特征提取 FLOP 成本在 SFT 上降低 9.7 倍、在 RL 基准上降低 3.0 倍，同时保持下游任务性能与全梯度方法相当。研究发现，即使输出层梯度与全梯度对单样本的排序不同，二者选出的批次梯度仍是对齐的。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。