跳到正文
原文
NVIDIA Technical Blog:Agentic AI / Generative AI·· 6 小时前AI 评分38

NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型

Deploying an HSTU Generative Recommender with NVIDIA Dynamo-Triton

AI 导读

NVIDIA Dynamo-Triton 现已通过 recsys-examples 仓库支持 HSTU 生成式推荐模型的端到端推理工作流,结合 PyTorch AOTI 编译、FlexKV KV 缓存与 NV embedding cache。

来源:NVIDIA Technical Blog:Agentic AI / Generative AI · developer.nvidia.com