语言模型预训练中块绕过响应的深度排序研究

1. 12:00
   arXiv：cs.LG

   语言模型预训练中块绕过响应的持续深度排序研究

   研究对五条已发布训练轨迹和11个模型-领域组合进行单块恒等绕过实验，发现块绕过响应在预训练过程中保持可识别的深度排序，但幅度会重新分布。在复现的Pythia训练中，局部缺失更新幅度增大而池化匹配下游响应减小，OLMo-2 7B则呈现不同平衡。结果表明单检查点干预响应需结合扰动路径随训练的演变来解读。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。