CBPO：统一离线示范与在线rollout的回归目标

Du Cheng 等研究者提出 Cross-Behavior Policy Optimization（CBPO），用固定参考目标让离线示范与策略生成的 rollout 共用同一回归损失和回放缓冲区，从而不再需要协调 SFT 与 RL 两套目标，也不需要行为策略概率、重要性加权或学习 critic。 在两种模型规模、四个数学推理基准上，作者称 CBPO 在 avg@32 与 pass@32 上取得领先；在 Qwen3-1.7B 上，CBPO-Unified 的这两个指标比 SFT DAPO 分别高 2.33 和 4.44 个百分点。消融实验中，保留历史 rollout 比不保留分别再高 1.87 和 3.72 个百分点。这些均为论文报告结果。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。