跳到正文
原文
Baseten 工程博客(网页)·· 14 小时前AI 评分24

Baseten 推出跨云自动扩缩容推理基础设施

Infrastructure

AI 导读

Baseten 发布面向推理优化的基础设施,支持多节点、多云、多区域部署,通过跨云自动扩缩容让模型在全球低延迟服务,并以跨云容量管理实现四个九可用性。其自动扩缩容器实时匹配流量与资源,冷启动优化可在数秒内拉起新副本,并提供自托管、云和混合三种部署方式。

来源:Baseten 工程博客(网页) · baseten.co