跳到正文
原文
Apple Machine Learning Research(RSS)·· 8 天前AI 评分45

Apple 提出 probe guidance:用扩散模型冻结内部状态引导流匹配,刷新扩散语言模型无条件生成 SOTA

How to Guide Your Language Flow

AI 导读

Apple 研究团队提出 probe guidance,利用已有扩散模型冻结的内部状态构建引导信号,无需在推理时增加额外前向计算,即可让弱模型与强模型保持相近动态。该方法在连续扩散语言模型的无条件生成上刷新 SOTA,应用于 1.7B 扩散语言模型时持续提升多项选择题基准表现。研究还发现,传统 autoguidence 中的弱模型必须来自训练的低熵区域。

来源:Apple Machine Learning Research(RSS) · machinelearning.apple.com