NVIDIA AI· @NVIDIAAI · X·· 3 小时前AI 评分25
AI 导读
已经在运行模型端点了？要把它扩展到 Kubernetes 上需要什么？ 五分钟内，我们带你了解 NVIDIA Dynamo 如何通过可扩展的 worker 和 OpenAI 兼容端点来处理部署。 观看视频：
正文
Already running a model endpoint? What does it take to scale it on Kubernetes?
In five minutes, we walk through how NVIDIA Dynamo handles deployment with scalable workers and an OpenAI-compatible endpoint.
Watch below:
来源：NVIDIA AI · x.com