跳到正文
原文
arXiv:cs.CL(计算语言学,全量分类)· Mehdi Jafari, Hao Xue, Flora Salim·· 3 小时前AI 评分42

MetaSteer:通过注意力投影适配实现上下文条件化的非线性引导

MetaSteer: Context-Conditioned, nonlinear Steering via Attention-Projection Adaptation

AI 导读

MetaSteer 提出一种非线性引导方法,通过适配注意力投影矩阵实现随输入上下文变化的激活效果,无需线性概念几何假设。该方法基于偏好优化在汇总偏好语料上训练一次,即可零样本迁移到未见概念和分布外上下文,在三个受控文本生成基准和三个智能体场景中匹配或超越强任务专用引导基线。

来源:arXiv:cs.CL(计算语言学,全量分类) · arxiv.org