ReaDy：利用HLA循环状态加速推测解码

Bohan Sun等作者发布论文提出 ReaDy，一种针对混合线性注意力（HLA）大模型的推测解码方法：在草稿阶段用学习到的 query 从目标模型已提交的循环状态中检索位置相关的补充上下文，作者称这是首个利用 HLA 循环状态做推测解码的方法。 据论文，在数学、代码生成与对话共七个基准上，ReaDy 在单张 NVIDIA B200 GPU 上以 Qwen3.8-27B 相对自回归解码取得平均 3.16 倍解码加速，代码已公开。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。