GRASP：微调中无监督识别并移除伪相关

研究者提出 GRASP（关联虚假模式的梯度投影）方法，能在不做监督的情况下，从朴素 LoRA 微调权重中识别出潜在因子，并阻止模型在微调中新增对它的依赖，同时保留预训练内容，用于解决微调引入任务与潜在因子间虚假相关、导致对齐偏移的问题。 据论文报告，在三个微调任务中，不安全代码案例的错位被完全移除，不良医疗建议案例降低约 5 倍，右倾 Reddit 理财数据实验的政治倾向漂移减少一半以上，且任务表现均优于全部基线。该结果为作者在论文中报告的数据，尚未经独立验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。