Fisher引导的子模数据选择方法提出
热点事件持续更新
Fisher引导的子模数据选择方法提出
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
Zhenghao Zhao等研究者提出一种面向大语言模型持续预训练（CPT）的Fisher感知数据选择器，将候选样本梯度分解为锚点分量与前沿分量，并用对数行列式子模目标在单次流式流程中优化。 在TinyLlama-1.1B和Llama-3.1-8B的医疗数据CPT上，该方法在提升目标域质量的同时限制了预训练基准上的遗忘。
AI 根据报道生成 · 1 小时前更新
最新进展10月5日 12:00
基于 Fisher 引导的子模数据选择：面向大语言模型持续预训练报道时间线
沿着报道，了解事件的不同侧面。
10月5日
- arXiv：cs.LG基于 Fisher 引导的子模数据选择：面向大语言模型持续预训练
研究者提出一种 Fisher 感知的持续预训练数据选择器，将候选样本梯度分解为锚点分量与前沿分量，并用对数行列式子模目标在单次流式流程中优化。在 TinyLlama-1.1B 和 Llama-3.1-8B 的医疗数据 CPT 上，该方法在提升目标域质量的同时限制了预训练基准上的遗忘。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。