字节跳动部署 RDMA 通信层 ByteExpress 的实践
热点事件持续更新
字节跳动部署 RDMA 通信层 ByteExpress 的实践
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
字节跳动在基于参数服务器的推理和训练系统中部署了硬件 RDMA 之上的软件通信层 ByteExpress，并发布论文报告部署经验。据论文，生产推理中模型参数拉取延迟均值和 P99 分别降低 35.7% 和 43.7%，CPU 总占用下降 10.69%；训练中参数推送 P99 延迟最高降低 74.0%，运行时未观察到 PFC 暂停。 上述数据来自 Yibo Huang 等作者的论文，发表于 arXiv cs.LG 分类，属于字节跳动自报的部署结果。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 12:00
字节跳动如何用 ByteExpress 将 RDMA 部署到大规模推理与训练报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- arXiv：cs.LG字节跳动如何用 ByteExpress 将 RDMA 部署到大规模推理与训练
字节跳动在基于参数服务器的推理和训练系统中部署了硬件 RDMA 之上的软件通信层 ByteExpress。生产推理中，模型参数拉取延迟均值与 P99 分别降低 35.7% 和 43.7%，CPU 总占用下降 10.69%；训练中参数推送 P99 延迟最高降低 74.0%，运行时未观察到 PFC 暂停。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。