SpecFit 改进卸载 MoE 推理的投机解码
热点事件持续更新
SpecFit 改进卸载 MoE 推理的投机解码
1 篇报道1 个报道来源15 小时前更新
先了解这件事
AI 综述
研究者 Hongliang Cao 等提出 SpecFit，用于 MoE 模型专家权重卸载到主机内存时的投机解码：不再按接受长度、而是按预测吞吐量选择已验证的草稿子树，以缓解 H2D 传输拖慢解码的问题。 在 CNN/DailyMail 摘要和 GSM8K 子集上，使用 Qwen3-30B-A3B 且专家缓存相同时，SpecFit 解码速度比 EAGLE-3 快 21.6% 和 7.0%，是原版 EAGLE-3 的 1.97 倍和 1.72 倍；代码已公开。
AI 根据报道生成 · 2 小时前更新
最新进展10月15日 12:00
SpecFit：MoE 推理卸载中并非所有草稿 token 代价相同报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AISpecFit：MoE 推理卸载中并非所有草稿 token 代价相同
针对 MoE 模型专家权重卸载到主机内存时 H2D 传输拖慢解码的问题，研究者提出 SpecFit，按预测吞吐量而非接受长度选择已验证的草稿子树。在 CNN/DailyMail 摘要和 GSM8K 子集上，Qwen3-30B-A3B 使用相同专家缓存时，SpecFit 解码速度比 EAGLE-3 快 21.6% 和 7.0%，是原版 EAGLE-3 的 1.97x 和 1.72x。代码已公开。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。