NVIDIA 机密计算如何支撑 TensorRT LLM 高性能生产级 AI 推理

NVIDIA 用机密计算（CC）在 Blackwell GPU 上跑生产级 LLM 推理，TensorRT LLM 通过 CC 感知优化把吞吐保留在基线的 96.1%–98.2%，平均 TPOT 开销仅 1.2%–4.3%。测试基于单台 DGX B200（8 张 B200）、DeepSeek-R1-0528-NVFP4、32K 输入/1K 输出、TP=8，并发 1–16。