arXiv 论文提出边际注意力空间结构

Valentino Maiorca 等作者在 arXiv 发布论文，将 post-softmax 注意力权重按 query 位置边缘化，构建 token-head 联合的“边际注意力空间”，并在 60 多个大语言模型上评估。作者称，按 token 归约可得到跨模型稳健保留的文本内在信号，按 head 归约则形成跨文档保留的模型私有签名。论文还提出 KV 缓存逐头预算方法，并称代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。