Sky Computing Lab 发布 JetSpec++ 投机解码方案

Sky Computing Lab 发布 JetSpec++ 投机解码加速方案。该方案用因果并行草稿、隐藏状态预测器和锚点 token 解码器，在当前块验证前预生成下一块，把草稿与验证流水线化。 该实验室称，在 BF16 下，JetSpec++ 相对 DSpark 端到端最高加速 1.54 倍，相对自回归解码最高加速 7.45 倍，且保持无损；在 Qwen3-8B 上达到 1,361 TPS，在 Qwen3.8-27B 上达到 367 TPS。 该实验室还称，配合 NVFP4 与内核优化，在两块 GB200 GPU 上，Qwen3-8B 超过 4,000 TPS，Qwen3.8-27B 超过 900 TPS。上述加速与吞吐数据均为该实验室公布，尚未见第三方验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。