英特尔推出至强平台推理微服务

英特尔推出 Intel Inference Microservices，这是一套面向大语言模型推理的容器化微服务方案，首批版本基于 vLLM 引擎、支持 BF16 精度，定位于第四代、第五代或第六代英特尔至强处理器，建议配置 32GB 内存，可在 Docker 或 Kubernetes 1.24 及以上环境运行。 英特尔称，工具调用和结构化输出目前仅作为 vLLM 的透传能力使用，尚未被验证为正式支持的能力；后续版本计划增加 Helm Chart、Kubernetes Operator 及更多推理引擎和精度支持。每个模型附有各自的许可证，用户需自行确保部署符合许可条款。 这套方案面向推理部署，对硬件代际、内存和容器环境均有明确限制，适用对象为上述至强平台用户。

AI 根据报道生成 · 52 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。