研究提出投机解码验证器跳过策略

Haoxuan Luo、Jameson Sandler 和 Ferdinando Fioretto 发表论文，研究投机解码中的“验证器跳过”策略：直接提交选定的草稿前缀、跳过目标模型验证，以缓解验证瓶颈。 论文称这是一种有损策略，研究的问题是应由哪种置信信号来调度跳过，并比较了从逐位置置信度到前缀调度的方案。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。