NVIDIA Technical Blog(开发者技术博客 · RSS)· Michelle Horton·· 2026-08-26AI 评分42
NVIDIA Dynamo 推出影子引擎恢复,LLM 推理容量秒级恢复
Restore LLM Inference Capacity in Seconds with Shadow Engine Recovery in NVIDIA Dynamo
AI 导读
NVIDIA Dynamo 预览版新增影子引擎恢复功能,可在 LLM 引擎进程故障后数秒内恢复推理容量,替代需从存储加载权重到 HBM、编译 kernel 并捕获 NVIDIA CUDA graphs 的冷启动路径。大模型冷启动初始化通常耗时数分钟,期间存活 worker 需承接转移流量。
来源:NVIDIA Technical Blog(开发者技术博客 · RSS) · developer.nvidia.com