Nucleus 投机解码松弛验证方法提出

Shuhao Li 等作者发表论文，提出 Nucleus Speculative Decoding（NSD），一种放宽式投机解码验证方法：草稿模型生成的 token 只要满足标准接受规则，或落入目标模型的 nucleus 范围内，即被接受。其思路是把目标模型的可信度纳入验证环节，而非只按精确分布判定。 论文摘要称该方法为“松弛验证”，代码已通过论文给出的链接公开。目前尚无该方法在具体任务上加速比或输出质量变化的实测结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。