SemiAnalysis 长文 RSS（RSS）· Tanj Bennett·· 10 天前AI 评分39
推理中的计算与数据搬运：MoE 如何改变服务结构与成本
Computation and Data Movement for Inference
AI 导读
SemiAnalysis 长文拆解 MoE 推理的计算与数据搬运，指出 MoE 不只增加参数量，更改变了每个 token 激活哪些张量、哪些数据必须就近放置，以及内存搬运、存储与调度如何影响有效吞吐。
来源：SemiAnalysis 长文 RSS（RSS） · newsletter.semianalysis.com