vLLM 官方博客（RSS）· Tenstorrent Team·· 24 天前AI 评分42
vLLM TT Plugin 发布：在 Tenstorrent 硬件上服务 LLM
Serving LLMs on Tenstorrent Hardware: Inside the vLLM TT Plugin
AI 导读
vLLM 推出 TT Plugin，通过 out-of-tree 平台插件机制将 Tenstorrent 加速器接入 vLLM，安装后只要 ttnn 可导入即自动注册为 vLLM 平台，OpenAI 兼容 API 与请求格式保持不变。
来源：vLLM 官方博客（RSS） · vllm.ai