跳到正文
热点事件持续更新

研究者提出图结构偏好优化方法GraphDPO

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

Ning Liu等作者提出 GraphDPO,把语言模型对齐中常用的直接偏好优化(DPO)从成对比较推广到有向无环偏好图。该图由多次 rollout 的排名诱导产生。 GraphDPO 使用图结构的 Plackett-Luce 目标,聚合支配邻域上的监督并传播传递性偏好;按作者的说法,标准 DPO 是它的一个特例。目前结论限于方法提出本身。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv:cs.AI
    GraphDPO:用偏好图替代成对比较来对齐语言模型

    研究者提出 GraphDPO,将 DPO 从成对偏好比较推广到由 rollout 排名诱导的有向无环偏好图,用图结构 Plackett-Luce 目标聚合支配邻域监督并传播传递性,标准 DPO 是其特例。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。