LMSYS：Blog（Chatbot Arena 团队）·· 13 小时前AI 评分37
Netpreme X-Mem MPU 如何加速 SGLang HiCache：TTFT 提升 6.7 倍
Blog Accelerating SGLang HiCache with Netpreme X-Mem™ MPU Netpreme X-Mem™ Memory Processing Unit (MPU) makes SGLang HiCache faster and more scalable by augmenting the slower Host DRAM offload tier with a purpose-built high-bandwidth KV memory tier. - Pr... Netpreme Team July 8, 2026
AI 导读
Netpreme X-Mem™ MPU 作为专用 KV 内存层接入 SGLang HiCache，在前缀密集型负载下将首 token 延迟（TTFT）较 Host DRAM 方案降低 6.7 倍。
来源：LMSYS：Blog（Chatbot Arena 团队） · lmsys.org