CoMoE：消费级GPU上的高效MoE推理
热点事件持续更新
CoMoE：消费级GPU上的高效MoE推理
1 篇报道1 个报道来源4 小时前更新
先了解这件事
AI 综述
Ruwen Fan等人发布论文，提出面向消费级GPU的通信高效MoE推理系统CoMoE，通过以主机为中心的路由减少通信量并消除全局同步停顿，采用主机托底的token多播与token级细粒度聚合。 论文称，在RTX 5090上的评测显示，CoMoE推理吞吐最高提升1.46倍，以仅23.4%的硬件成本接近支持NVLink的A800 GPU性能，且无需P2P互联。
AI 根据报道生成 · 2 小时前更新
最新进展10月8日 12:00
CoMoE：在消费级 GPU 上以主机为中心路由实现高效 MoE 推理报道时间线
沿着报道，了解事件的不同侧面。
10月8日
- arXiv：cs.LGCoMoE：在消费级 GPU 上以主机为中心路由实现高效 MoE 推理
CoMoE 是一套面向消费级 GPU 的通信高效 MoE 推理系统，通过以主机为中心的路由减少通信量并消除全局同步停顿。它采用主机托底的 token 多播与 token 级细粒度聚合，在 RTX 5090 上推理吞吐最高提升 1.46x。该方案以仅 23.4% 的硬件成本接近支持 NVLink 的 A800 GPU 性能，且无需 P2P 互联。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。