跳到正文
热点事件持续更新

提出Harness-Aware Distillation蒸馏方法

1 篇报道1 个报道来源4 小时前更新

先了解这件事

报道摘要

研究者提出 Harness-Aware Distillation(HAD),将蒸馏重点放在教师模型超出 harness 的贡献上,而非模仿其完整输出。HAD 在 on-policy 蒸馏基础上加入动作偏好对比与有效性校验,无需任务奖励、成功标签或未来信息。在多个长程智能体基准上,HAD 以相同固定 harness 超越 on-policy 蒸馏基线,更少陷入无效循环并能更频繁地从错误中恢复。

摘自 arXiv:cs.AI

报道时间线

沿着报道,了解事件的不同侧面。

10月5日
  1. arXiv:cs.AI
    Harness-Aware Distillation:让小语言模型智能体学会 harness 之外的能力

    研究者提出 Harness-Aware Distillation(HAD),将蒸馏重点放在教师模型超出 harness 的贡献上,而非模仿其完整输出。HAD 在 on-policy 蒸馏基础上加入动作偏好对比与有效性校验,无需任务奖励、成功标签或未来信息。在多个长程智能体基准上,HAD 以相同固定 harness 超越 on-policy 蒸馏基线,更少陷入无效循环并能更频繁地从错误中恢复。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。