跳到正文
原文
vLLM 官方博客(RSS)· AFD Plugin Contributors·· 2026-07-23AI 评分42

vLLM 发布 AFD 插件:为 MoE 推理拆分 Attention 与 FFN

Announcing vLLM AFD Plugin: Disaggregating Attention and FFN for Flexible MoE Serving

AI 导读

vLLM 推出实验性外部插件 vLLM AFD Plugin,将 MoE 模型中的 Attention 与 FFN 拆分为可独立部署和扩缩的服务,同时保留 vLLM 原有请求生命周期与 OpenAI 兼容接口。

来源:vLLM 官方博客(RSS) · vllm.ai