CAST：LLM预训练的历史自适应谱裁剪方法
热点事件持续更新
CAST：LLM预训练的历史自适应谱裁剪方法
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Jiacheng Li 等作者提出 CAST（Clipping with Adaptive Scales and Thresholds），一种用于大语言模型预训练的历史自适应谱裁剪方法。该方法是软谱裁剪（SSC）的扩展：用 AdamW 的历史二阶矩设定行、列缩放，用裁剪输出谱范数估计值的指数移动平均设定各矩阵阈值，并在 AdamW 更新前恢复原始坐标。 该工作以论文形式提交至 arXiv（cs.LG，机器学习）。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
CAST：面向 LLM 预训练的历史自适应谱裁剪方法报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.LGCAST：面向 LLM 预训练的历史自适应谱裁剪方法
CAST（Clipping with Adaptive Scales and Thresholds）是软谱裁剪（SSC）的历史自适应扩展，用 AdamW 的历史二阶矩设定行、列缩放，并用裁剪输出谱范数估计值的指数移动平均设定各矩阵阈值，在 AdamW 更新前恢复原始坐标。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。