Echo：4位张量并行通信方法发布
热点事件持续更新
Echo：4位张量并行通信方法发布
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Xingyu Xie 等作者发布 Echo，一种面向大语言模型训练与推理的 4-bit all-reduce 方案。它通过在高精度下求和、并把每次调用注入的误差反馈到后续调用，使累积误差不随层数增长。该方法不需要 FP8 或 FP4 硬件。 在 A100 上，消息大小为 1 GB 时，Echo 比 16-bit NCCL all-reduce 快 2.09 倍；互连空闲时首 token 时间最高加速 1.16 倍、训练步最高加速 1.09 倍，背景流量增长时可达 1.44 倍和 1.38 倍。
AI 根据报道生成 · 1 小时前更新
最新进展10月15日 12:00
Echo：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信报道时间线
沿着报道，了解事件的不同侧面。
10月15日
- arXiv：cs.AIEcho：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信
Echo 是一种 4-bit all-reduce 方案，通过在高精度下求和并将每次调用注入的误差反馈到后续调用，使累积误差与层数无关。在 A100 上，1 GB 消息时它比 16-bit NCCL all-reduce 快 2.09x，空闲互连下首 token 时间最高加速 1.16x、训练步最高加速 1.09x，背景流量增长时可达 1.44x 和 1.38x。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。