HARP：大模型微调的高效数据选择方法

研究者 Ning Wang 等人发布论文，提出一种名为 HARP（Hierarchical Active Region Pruning，层次化主动区域剪枝）的数据选择方法，用于大语言模型微调。该方法在训练中按节点-叶的层级结构，仅评估代表性叶子节点，并用经验贝叶斯后验推断未评估部分的效用，从而在选择数据时降低选择成本（据论文称）。 论文称该方法在降低选择成本的同时，能保持下游任务的对齐效果。上述效果为作者在论文中的表述，尚非独立验证的结论。 该成果以 arXiv 预印本形式发布在 cs.LG（机器学习）分类下。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。