轨迹特征无助于末层注意力路由

Yupeng Yao 提交的论文评估了隐状态外推误差、曲率与误差变化等轨迹特征，能否比不确定性、单步位移、位置与状态投影等信号更好地预测末层注意力路由的价值。 实验在冻结的 SmolLM3-3B-Base 和 Qwen3.5-4B-Base 检查点上进行，用末层注意力层的配对执行提供带符号的下一词损失差；路由方案在 100 本 PG-19 留出书籍、统一的 20% 因果调用配额下测试。 结果显示，六项预设比较经族系校正后均无正向增益，即轨迹特征未能带来优于对照信号的增益。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。