arXiv：cs.CL（计算语言学，全量分类）· Eric Enouen, Sainyam Galhotra·· 3 小时前AI 评分47
位置编码选择如何塑造上下文检索机制
Shifting Mechanisms: How Positional Encoding Choice Shapes In-Context Retrieval
AI 导读
研究追踪了位置编码（PE）选择如何塑造模型上下文检索的内部机制，覆盖八个家族共 22 个开放权重模型。标准 RoPE 模型主要依赖位置检索，而 PE 混合架构（如 SWA NoPE）转向语义检索；受控预训练消融显示，将位置编码限制在局部层会产生这种语义偏移。PE 混合架构的长上下文增益掩盖了检索权衡：SWA NoPE 在多目标检索和 QA 上优于 RoPE，但在区分竞争键时表现下降。
来源：arXiv：cs.CL（计算语言学，全量分类） · arxiv.org