跳到正文
原文
vLLM 官方博客(RSS)· Arm Team·· 2026-07-29AI 评分49

vLLM 在 Arm CPU 上的优化实践

Optimizing vLLM on Arm CPUs

AI 导读

vLLM 联合 PyTorch、oneDNN 和 KleidiAI 社区完成 Arm CPU 服务栈的上游优化,新增预构建 wheel 与 Docker 镜像、chunked prefill、前缀缓存、INT8 W8A8/W4A8 推理,并支持 GPT-OSS、Whisper 和 Qwen 3.5/3.6。

来源:vLLM 官方博客(RSS) · vllm.ai