跳到正文
热点事件持续更新

研究质疑功率采样锐化LLM的有效性

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

一项新研究质疑用「功率采样」（power sampling）在测试时锐化大语言模型的做法。作者 Abiel Malkani Talwar 等人称，这类无需奖励信号、通过 MCMC 或 SMC 从幂分布 π_α ∝ π_base^α 采样的方法，在现实算力预算下无法收敛到 π_α，其带来的收益大多可以用合适的 Best-of-N 复现。 研究者还尝试直接微调基础模型以匹配 π_α，结果显示收益仍带噪声，且只对特定模型和采样任务有效。据此他们认为，功率采样的价值在于提取基础模型本就认为高概率的序列，而非精确逼近 π_α。

AI 根据报道生成 · 2 小时前更新

最新进展10月12日 12:00
研究质疑 LLM 测试时锐化的 Power Sampling 方法

报道时间线

沿着报道，了解事件的不同侧面。

10月12日
  1. arXiv：cs.LG
    研究质疑 LLM 测试时锐化的 Power Sampling 方法

    针对无需奖励信号、通过 MCMC 或 SMC 从幂分布 π_α ∝ π_base^α 采样的"幂采样"方法，研究显示这些采样器在现实算力预算下无法收敛到 π_α，其收益大多可由合适的 Best-of-N 复现。直接微调基础模型以匹配 π_α 后，收益仍有噪声且仅对特定模型和采样任务有效，说明幂采样的价值在于提取基础模型本就认为高概率的序列，而非精确逼近 π_α。

本事件热度走势

还没有足够的连续观测数据，暂不绘制趋势。