跳到正文
热点事件持续更新

逆推理自蒸馏:仅用答案数据后训练LLM

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

研究者 Eric O. Korman 发表论文,提出一种逆推理 LLM 自蒸馏方法:把思维链(CoT)当作潜变量,仅用 prompt-answer 数据即可对推理模型做后训练,逆模型训练一次后可离线复用。 论文报告在 Qwen3-0.6B 上,GRPO 训练饱和后经一轮离线蒸馏,困难提示的 pass@1 约翻倍;在 Countdown 任务上,各难度指标均优于拒绝采样自蒸馏。以上为该论文自报结果。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv:cs.LG
    逆推理模型:仅用答案数据做高效后训练与验证

    研究者提出逆推理 LLM 的自蒸馏方法,仅用 prompt-answer 数据即可后训练推理模型,将 CoT 视为潜变量,逆模型一次训练后可离线复用。在 Qwen3-0.6B 上,GRPO 训练饱和后经一轮离线蒸馏,困难提示 pass@1 约翻倍,Countdown 上各难度指标均优于拒绝采样自蒸馏。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。