NVIDIA 如何用 AIPerf 对大规模 LLM 推理进行基准测试

NVIDIA 发布 AIPerf，用于对大规模 LLM 推理做基准测试，解决 curl 命令、手写 asyncio 脚本或一次性压测工具受单进程性能、Python GIL 并发上限等问题。该工具面向模型部署后的性能评估场景。