Specter以量化与多步投机加速MoE推理

Specter 作者团队提出一个 MoE 推理系统 Specter，把量化、投机解码与专家卸载结合起来：设备上运行的轻量量化草稿模型保留高保真专家激活模式，据此对后续专家使用做多步前瞻，提前调度专家传输与执行。 作者称，在单请求推理下，Specter 相比现有最优系统，每个输出 token 的耗时（TPOT）平均快 1.50 倍、最高快 1.88 倍，使单 GPU 内存受限场景下的 MoE 推理更实用。该论文已被 ASPLOS 2027 接收，代码已公开。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。