arXiv 论文提出企业生成式 AI 推理四层评测框架

Abbas Raza Ali 等作者在 arXiv 发布论文，提出面向企业级生成式 AI 推理算力的四层评测框架与基准协议，并据此论证 LLM 部署正从单轮补全转向智能体轨迹，推理硬件的经济性因此反转。 论文称，这一转变使推理更有利于把权重保留在片上 SRAM 的加速器（Cerebras WSE-3/3T、Groq/NVIDIA LPU）或由编译器管理分层内存的方案（SambaNova SN40L/SN50），并解释了三个厂商生态在 2026 年为何收敛到分离式 prefill/decode 服务；还提出每步 2% 的失败率会抵销 20 步智能体 2 倍的解码优势。 作者表示论文中所有性能数据均公开并标注证据等级，同时给出七个可证伪假设及用于检验它们的实验。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。