跳到正文
热点事件持续更新

DyPAM:动态调制位置注意力的参数高效微调法

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

研究者提出参数高效微调方法 DyPAM(Dynamic Positional Attention Modulation),直接作用于注意力中的 query 和 key 表示,用输入条件化的维度级调制,并结合头级与层级结构调制,在不修改预训练主干的前提下适配 RoPE 引起的维度相关位置结构。该论文作者为 Dayan Pan、Jingyuan Wang、Xie Yu。 据论文称,在多个主干模型的数学与常识推理基准上,DyPAM 持续优于现有强 PEFT 基线;论文已被 KDD 2026 接收。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月7日
  1. arXiv:cs.AI
    DyPAM:面向大语言模型参数高效微调的动态位置注意力调制

    研究者提出 PEFT 方法 DyPAM(Dynamic Positional Attention Modulation),直接作用于 query 和 key 表示,通过输入条件化的维度级调制结合头级、层级结构调制,在不修改预训练主干的前提下适配 RoPE 引起的维度相关位置结构。在多个主干模型的数学与常识推理基准上,DyPAM 持续优于现有强 PEFT 基线,论文已被 KDD 2026 接收。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。