跳到正文
热点事件观察中

PAR:进度对齐循环模型提升长度泛化

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

研究者提出进度对齐循环模型 PAR:训练第 k 次迭代的预测对齐前 k 步操作后的状态,并将循环状态重新缩放到首次迭代的范数。基于 Qwen2.5-0.5B、最多 32 步训练的模型在 512 步的 swap-S₅ 任务上平均全状态准确率达 95.5%,是训练长度的 16 倍。 同一测试中,对比方法 RLT 的准确率为 55.7%,显式 CoT 仅 0.8%。消融显示,去掉范数锚定后外推倍数降至 2.2 倍以下。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月20日
  1. HuggingFace Daily Papers
    PAR:面向状态跟踪长度泛化的进度对齐循环模型

    研究者提出进度对齐循环模型 PAR,让第 k 次迭代的预测对齐前 k 步操作后的状态,并将循环状态重新缩放到首次迭代的范数。基于 Qwen2.5-0.5B、最多 32 步训练的模型在 512 步的 swap-S₅ 任务上平均全状态准确率达 95.5%,是训练长度的 16 倍,而 RLT 为 55.7%、显式 CoT 仅 0.8%。消融显示去掉范数锚定后外推倍数降至 2.2 倍以下。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。