研究者提出HyGA混合门控注意力框架

Zekun Zhou等作者提出HyGA（Hybrid Gated Attention）混合门控注意力框架，包含三种门控策略，从注意力的多个阶段捕获头内与跨头信息交互，并构建逐元素和逐头门控来调制信息流。 该框架目前以预印本形式发布在arXiv计算语言学分类下，作者称其设计用于在注意力机制内部实现更细粒度的信息流控制。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。