跳到正文
Ant Ling· @AntLingAGI · X·· 1 小时前精选AI 评分65
AI 导读

蚂蚁百灵转发 SGLang 对 Ling-3.1-flash 的 Day-0 支持。该模型为 560B MoE 混合推理模型,激活 25B,支持 1M 上下文;MXFP4 + block-FP8 量化将权重从约 534GB 降至约 292GB,可放入 4 张 Hopper GPU,并在 GDPVal-AA、FrontierSWE、Terminal-Bench 4.0 等真实 Agent、办公和编码任务上表现较强。

推荐理由

引用内容给出 Ling-3.1-flash 的参数量、量化方案和部署门槛,读者可据此评估在 4 张 Hopper GPU 上自部署的可行性。

正文 · AI 翻译

感谢 @sgl_project 的 day-zero 支持,也感谢帮助开发者更高效地 serve Ling-3.1-flash!⚡

引用SGLang@sgl_project
SGLang 已为来自 @AntLingAGI 的 Ling-3.1-flash 提供 Day-0 支持! 一个 560B MoE 混合推理模型,激活参数 25B,1M 上下文,为实际工作而生:它能把粗略的需求简报变成一个页面、移动端 UI 或交互式原型。 ✅ MXFP4 + block-FP8 量化将权重从约 534GB 降至约 292GB,可装进 4 块 Hopper GPU ✅ 在真实世界智能体、办公和编程任务上表现强劲,包括 GDPVal-AA、FrontierSWE 和 Terminal-Bench 4.0。 开始使用 SGLang:
原文

SGLang has Day-0 support for Ling-3.1-flash from @AntLingAGI! A 560B MoE hybrid reasoning model, 25B active, 1M context, built for real work: it turns a rough brief into a page, mobile UI, or interactive prototype. ✅ MXFP4 + block-FP8 quantization cuts weights from ~534GB to ~292GB, fitting on 4 Hopper GPUs ✅ Strong on real-world agent, office, and coding tasks, including GDPVal-AA, FrontierSWE, and Terminal-Bench 4.0. Get started with SGLang:

在 X 查看被引用的帖子

来源:Ant Ling · x.com