Baseten推出模型实验室推理与分发平台

Baseten 为生产级 AI 推理提供全栈工程能力，覆盖模型开发、服务、编排、可观测性与底层优化，目标是在真实流量下兼顾吞吐、延迟与可靠性。其基础设施支持跨云跨区域 99.99% 可用性，并通过内核、量化、批处理、路由与硬件选型等逐层调优，按模型与流量定制配置而非套用通用预设。公司 2019 年由工程师创立，以前向部署工程师（FDE）与客户在真实流量下共同调优，从原型一路做到生产规模。

Baseten 推出 Self-hosted 部署方案，让企业在自有 VPC 内获得与托管服务一致的毫秒级低延迟和高吞吐推理，模型输入输出不会经过 Baseten 服务器。该方案支持数据驻留与区域锁定部署，可满足 GDPR、HIPAA 等合规要求，并允许使用自有硬件或现有云厂商 credits 与 commits 优化成本。

Baseten 推出 Baseten Cloud，可在任意云厂商上运行生产级 AI 推理，提供毫秒级响应与 99.99% 可用性，无需人工干预即可自动扩缩容。该服务由 Baseten Inference Stack 驱动，支持区域锁定、单租户和自托管部署，且不存储模型输入与输出。

Baseten 发布面向推理优化的基础设施，支持多节点、多云、多区域部署，通过跨云自动扩缩容让模型在全球低延迟服务，并以跨云容量管理实现四个九可用性。其自动扩缩容器实时匹配流量与资源，冷启动优化可在数秒内拉起新副本，并提供自托管、云和混合三种部署方式。

Baseten 推出 Inference Runtime，将 TensorRT、SGLang、vLLM、TGI、TEI 等开源推理框架与自研优化整合进单一可配置运行时，宣称可在数分钟内完成配置。该运行时原生支持 Medusa、Eagle 等投机解码技术，并通过 KV cache 卸载与缓存感知路由、prefill 优先调度、TP 与 EP 混合并行等手段降低延迟。

Baseten 面向模型实验室推出 Frontier Gateway，可在数天内发布带认证、密钥管理、限流和用量计费的白标 API，由 Baseten Inference Stack 驱动。模型还可上架 Baseten Model Library 供开发者发现和调用，并享受 SOC 2、HIPAA、GDPR 合规及 99.99% 可用性 SLA。