NVIDIA Technical Blog:Agentic AI / Generative AI·· 6 小时前AI 评分38
NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型
Deploying an HSTU Generative Recommender with NVIDIA Dynamo-Triton
AI 导读
NVIDIA Dynamo-Triton 现已通过 recsys-examples 仓库支持 HSTU 生成式推荐模型的端到端推理工作流,结合 PyTorch AOTI 编译、FlexKV KV 缓存与 NV embedding cache。
来源:NVIDIA Technical Blog:Agentic AI / Generative AI · developer.nvidia.com