Thinking Machines Lab：官方博客（RSS）·2025-09-10 15:01· 2025-09-10精选AI 评分66

Thinking Machines Lab 解析 LLM 推理非确定性的真正成因并发布批不变 kernel

Defeating Nondeterminism in LLM Inference

AI 导读

Thinking Machines Lab 的 Horace He 发文指出，LLM 推理非确定性的主因不是并发加浮点误差，而是服务器负载变化导致 batch size 变化，使非批不变的 kernel 输出随批次改变。

推荐理由

原文指出 LLM 推理不确定性的真正根源是批大小变化而非并发原子加，并给出可复现的批不变 kernel 方案。