SGLang 流水线并行（PP）实现：面向百万级 Token 上下文与超长序列推理
SGLang 推出高度优化的流水线并行（PP）实现，结合分块流水线并行、异步 P2P 通信与动态分块机制，专攻超长上下文推理。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1，分块预填充设为 12K 时预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高 30.5%，TTFT 最多降低 67.9%，强扩展效率 82.8%。
全部AI 动态
全部动态
今日 679 条LMSYS：Blog（Chatbot Arena 团队）AI 评分4545 METR：Notes（网页）AI 评分4848 METR 微调实验：少量指令跟随微调可提升推理模型 CoT 可控性
METR 对 GPT-OSS-20B、GPT-OSS-120B、Qwen-3-8B、Qwen-3-32B 四个推理模型做少量指令跟随微调（240 条样本、约 100K-300K tokens），在分布外任务集 CoTControl 上的 CoT 可控性从平均 2.9% 升至 8.8%。
METR：Research（网页）精选AI 评分6666 METR 将重新设计开发者生产力实验，因 AI 选择效应致新数据不可靠
METR 宣布重新设计其开发者生产力实验，认为 2025 年 8 月启动的二次研究中因开发者拒绝无 AI 工作而出现选择效应，使数据无法可靠反映 AI 工具的生产力影响。
推荐理由：原文解释了为何 AI 更广泛采用带来的选择效应使其实验结果不可靠，并给出初步数据与后续研究设计思路。
LMSYS：Blog（Chatbot Arena 团队）精选AI 评分6363 SGLang-Diffusion 发布两个月：速度较初版提升至 2.5 倍，新增 ComfyUI 集成与 LoRA 支持
LMSYS Chatbot Arena 团队复盘 SGLang-Diffusion 自 2025 年 11 月初发布两个月来的进展，当前版本（docker tag: lmsysorg/sglang:dev-pr-17247）比初版快最多 2.5 倍，在 NVIDIA GPU 上较其他方案最高快 5x。
推荐理由：官方复盘发布两个月来的优化成果，速度较初版提升至 2.5 倍，并新增 ComfyUI 集成和 LoRA 支持，读者可评估是否迁移现有图像视频生成工作流。
METR：Notes（网页）AI 评分5757 METR 分析 NanoGPT speedrun 中人类与 AI 智能体的贡献
METR 研究人员对 NanoGPT speedrun 的 77 条记录分类，2024 年 5 月至 2026 年 3 月间 36 名贡献者将训练时间从 45 分钟降到 1.43 分钟，共 31x 提速。
METR：Research（网页）AI 评分5858 METR 发布 MirrorCode 初步结果：AI 智能体可完成数周级编码任务
METR 发布 MirrorCode 基准初步结果，显示 AI 智能体可完成数周时长的编码任务，包括重新实现一个 16000 行代码库。同页还汇总了 349 名技术工作者调查，自报因 AI 工具工作价值中位数提升 1.4–2x，以及跨 9 个基准的时间跨度研究和监测性评测初步结果。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5252 Novita AI 分享 GLM4-MoE 生产部署优化：基于 SGLang 将 TTFT 最高降低 65%
Novita AI 发布基于 SGLang 部署 GLM4-MoE 模型的端到端推理优化方案，TTFT 最高降低 65%，agentic coding 负载下 TPOT 提升 22%，结果在 H200 集群 TP8、FP8 配置下验证。
METR：Notes（网页）AI 评分6262 METR 分析：基于 Anthropic 代码产出 8 倍增长推算研究员提效可能超过 2 倍
METR 研究员 Thomas Kwa 分析称，Anthropic 报告 2026 年 Q2 贡献者日均合并代码量为 2021-2024 期的 8 倍，在标准经济建模假设下，仅编码智能体带来的研究员提效就大于 2 倍，中心估计约 2.5 倍。
METR：Research（网页）AI 评分4343 METR 研究：任务替代如何导致 AI 生产力提升（uplift）的三种度量出现显著分歧
METR 提出 AI 生产力提升（uplift）的三种度量——旧任务 uplift、价值 uplift 与新任务 uplift，并论证在简化假设下三者满足「旧任务 uplift ≤ 价值 uplift ≤ 新任务 uplift」。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3434 SGLang RL 团队实现 INT4 QAT 端到端流程：约 1TB 模型单张 H200 完成 rollout
SGLang RL 团队联合 InfiXAI、蚂蚁 Asystem & AQ Infra、slime、RadixArk 团队，在 slime 框架上落地了 INT4 QAT 端到端流程，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性与稳定性。
METR：Notes（网页）AI 评分4242 METR 解读《递归自我改进的经济学》：AI 能否加速 AI 研发
METR 研究员 Parker Whitfill 与 Tom Cunningham 联合 7 位经济学家发布论文《The Economics of Recursive Self-Improvement》，用一系列简化模型分析 AI 如何加速 AI 研发，以及反馈效应是否强到足以形成"自我维持的加速"。
METR：Research（网页）AI 评分5050 METR 调查：349 名技术工作者自报 AI 带来 1.4–2 倍工作价值提升
METR 在 2026 年 2–4 月调查 349 名技术工作者（含 87 名软件工程师、71 名研究人员、129 名学者与博士生、48 名创始人及管理者），自报 AI 工具带来的工作中位价值变化为 1.4–2 倍，中位速度变化为 3 倍。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4343 千问（Qwen）联合 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟
千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 与 Qwen3-VL-235B 完成极致延迟优化。
METR：Research（网页）精选AI 评分7070 METR 发布前沿 AI 风险试点评估报告，Anthropic、Google、Meta 和 OpenAI 参与
METR 自 2026 年 2 月起开展试点评估，测试前沿 AI 开发商内部使用的 Agent 的错位风险，Anthropic、Google、Meta 和 OpenAI 参与。
推荐理由：报告给出多家前沿实验室参与的真实评估结果，读者可以据此了解当前模型在开放式任务和红队测试中的实际能力边界。
METR：Notes（网页）AI 评分4242 METR 综述 AI 智能体能力度量指标：从固定支出得分到人类基准对比
METR 研究员 Tom Cunningham 发布笔记，系统梳理了比较 AI 智能体能力的替代性度量指标，其核心是智能体得分函数 s_A(x) 与人类得分函数 s_H(x)，其中支出可解读为金钱、token 或时间。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4646 SGLang-Diffusion 如何为生产级视频生成做深度优化
SGLang-Diffusion 团队公布面向生产级视频生成的进阶优化，覆盖并行策略、VAE 与多请求服务稳定性。序列并行从帧级改为 token 级分片，在 8×H100 上把填充开销从 3 帧（14.3%）降到 0，all-to-all 通信量降至 0.875×。
METR：Research（网页）AI 评分5656 METR 提出支出视界指标，以 NanoGPT 竞速度量 AI 智能体优化能力
METR 提出"支出视界"指标，用人类与智能体在优化问题上成本收益曲线的交点来量化智能体优化能力。以 NanoGPT speedrun 为例，人类每提升 1% 训练速度约需 16 小时劳动。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4040 在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提升
NVIDIA 与 SGLang 团队公布在 GB300 NVL72 上优化 DeepSeek R1-NVFP4 长上下文推理的进展，128K/8K 场景下 SGLang 达到 226.2 TPS/GPU，较 GB200 提升 1.53 倍。
METR：Notes（网页）精选AI 评分6868 METR 分析 LLM 是否加速了漏洞、数学与算法发现
METR 研究人员检视漏洞、数学和算法发现的公开时间序列，判断 LLM 是否加速了整体发现率。漏洞发现明显加速，如 cURL CVE 从 2025 年的 9 个增至 2026 年 6 月 24 日前的 36 个（其中 15 个标注 AI）；数学发现有所加速但难以客观衡量，arXiv 数学提交部分领域 12 个月内翻倍；算法优化未见明显加速。
推荐理由：原文汇总多个公开时间序列，比较 AI 对不同领域发现速度的影响，提供了可核查的数据和方法。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4444 SGLang 在 NVIDIA GB300 NVL72 上实现最高 25 倍推理性能提升
SGLang 与 NVIDIA 合作在 GB300 NVL72 上实现最高 25 倍推理性能提升，基于 SemiAnalysis InferenceXv2 运行 DeepSeek R1 对比 H200（50 TPS/user 延迟约束）。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5151 NVIDIA 发布 Nemotron 3 Super，SGLang 提供 Day-0 推理支持
NVIDIA 宣布 Nemotron 3 Super 发布，SGLang 于 Day-0 提供支持。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4141 AMD Instinct GPU 迎来 Miles 强化学习框架 ROCm 支持
Miles 强化学习框架现已支持 AMD Instinct GPU（含 MI300/350 系列），可在 ROCm 上原生运行大规模 RL 后训练。Miles 基于 SGLang 与 Slime 生态，支持 GRPO/PPO、Ray 编排及 Megatron-LM 集成，并提供预构建容器。在单节点 8 卡 MI300X 上，团队用 GRPO 训练了 Qwen3-30B-A3B。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4444 SGLang 集成 Elastic EP：为 DeepSeek MoE 部署实现部分故障容错
SGLang 框架集成 Elastic EP，通过解耦专家与 GPU 的固定映射实现部分故障容错，DeepSeek V3.2 在 32 GPU、256 冗余专家配置下服务中断控制在 10 秒内，较完整重启的 2-3 分钟减少 90%。该方案静态性能与标准 DeepEP 持平，系统吞吐 3560.21 tokens/sec，由 Mooncake EP 提供容错通信层支持。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4040 SGLang 在 NVIDIA GTC 2026 的活动回顾：五场活动、三天
SGLang 团队回顾了在 NVIDIA GTC 2026 的三天五场活动，包括黄仁勋 GTC 主题演讲中 SGLang 出现在 NVIDIA AI 生态幻灯片上，以及 Ying Sheng 参与的"开源 AI 现状"圆桌。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4646 HiSparse：用分层内存为稀疏注意力提速，GLM-5.1-FP8 长上下文吞吐最高提升 5 倍
LMSYS 团队提出 HiSparse 分层内存系统，将不活跃的 KV cache 卸载到主机内存、在 GPU HBM 保留热缓冲区，缓解稀疏注意力的显存容量瓶颈。在 GLM-5.1-FP8 上，8×H200 部署下 256 并发请求吞吐达基线 3 倍以上，长上下文场景最高提升 5 倍。目前支持 DeepSeek-V3.2 与 GLM-5.1 等采用 DSA 的模型，属实验性功能。
LMSYS：Blog（Chatbot Arena 团队）精选AI 评分6868 SGLang 与 Miles 发布对 DeepSeek-V4 的 Day-0 推理与 RL 训练支持
LMSYS 的 SGLang 与 Miles 团队宣布对 DeepSeek-V4（1.6T Pro、284B Flash）提供 Day-0 推理和 RL 训练支持，是首个在发布日同时服务与训练该模型的开源栈。
推荐理由：LMSYS 团队详述了为 DeepSeek-V4 混合稀疏注意力等新架构所做的推理与 RL 训练优化，附基准数据。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4141 SGLang 推出基于 RDMA 的 P2P 权重更新机制，1T 参数 Kimi-K2 传输从 53 秒降至 7.2 秒
SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5454 AMD 与 SGLang 团队详解 MI355X 上 DeepSeek-R1 分离式推理如何做到 TCO 对标 B200
AMD 与 SGLang 团队联合发布博客，展示基于 SGLang 和 MoRI 通信库的 DeepSeek-R1 分离式推理在 AMD Instinct MI355X 上实现有竞争力的 TCO，结果由 SemiAnalysis 的 InferenceX 基准平台验证。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3636 Intel 与 SGLang 团队用 Dynamo 实现异构 CPU+GPU EPD 分离，加速 VLM 推理
Intel 与 SGLang 团队通过 Dynamo 和 SGLang 为视觉语言模型（VLM）实现异构 Encode-Prefill-Decode（EPD）分离，将视觉编码任务卸载到 CPU。在 Qwen3-VL-8B-Instruct 上，该方案在 QPS 1-2 负载下带来约 1.2x-1.3x 的 P99 TTFT 和请求吞吐提升，P99 TPOT 降低约 1.3x-30x。
LMSYS：Blog（Chatbot Arena 团队）精选AI 评分7272 SGLang 和 Miles 实现 NVIDIA Nemotron 3 Ultra Day-0 支持
SGLang 和 Miles 宣布对 NVIDIA Nemotron 3 Ultra 提供 Day-0 支持。该模型为开源 MoE 混合 Transformer-Mamba 架构，总参数 550B、激活 55B，上下文最长 1M tokens，支持 NVFP4 与 BF16 权重，面向长程自主智能体优化。
推荐理由：原文给出架构、部署配置和 RL 训练细节，读者可以据此评估该模型在长程智能体场景的可用性。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5959 Higgs Audio v3 TTS 在 SGLang-Omni 上实现端到端实时语音服务
SGLang-Omni 团队宣布为 Boson AI 的 Higgs Audio v3 TTS 提供端到端推理服务。该模型约 4B 参数，基于 Qwen3-4B 骨干，支持流式合成和 100 种语言的个位数 WER/CER，开发者可通过文本流内嵌控制标签调节情绪、风格、韵律和音效。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3939 Miles 团队详解智能体 RL 中的 Token-In-Token-Out（TITO）原则
Miles 团队提出 Token-In-Token-Out（TITO）原则，要求智能体 RL 中每一轮的总 token 序列（prompt + response）必须是下一轮 prompt token 序列的逐位完美前缀，以保证训练与推理一致。
LMSYS：Blog（Chatbot Arena 团队）AI 评分2626 LMSYS 公布 2026 博士奖学金首位获得者 Will Lin
LMSYS 宣布 2026 博士奖学金首位获得者为 Will Lin，表彰其对开源 AI 基础设施的持续贡献，奖学金最高 5 万美元用于学费。Will Lin 是 UC San Diego 六年级博士生，主导开源扩散生成框架 FastVideo，该项目已获 3.7k+ GitHub stars，并被 NVIDIA Dynamo 集成为后端。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4747 Z Lab、Modal 与 SGLang 联合发布 DFlash 与 Spec V2 推测解码方案
Z Lab、Modal 与 SGLang 联合发布 DFlash 推测解码模型及 SGLang 新默认 Spec V2 引擎，为 Qwen 3.5 397B-A17B 提供更低延迟的 LLM 推理服务。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5050 MOSS-TTS-Local-Transformer-v1.5 在 SGLang-Omni 上实现端到端流式服务
MOSS-TTS-Local-Transformer-v1.5 已在 SGLang-Omni 上实现端到端服务，与 MOSI 和 OpenMOSS 团队合作完成。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4848 SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T：用单个 Pallas Kernel 把 MoE 数据搬运藏在计算背后
SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新 Pallas kernel Fused MoE V2 将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms，降幅 53%。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4444 SGLang 用 Waterfill 与 LPLB 改进 DeepEP MoE 负载均衡
SGLang 为 DeepEP MoE 推理引入 Waterfill 和 LPLB 两项调度期负载均衡特性。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5858 SGLang 团队探索智能体辅助开发：用 SKILL.md 与评测循环优化推理框架
SGLang 团队发布博客，介绍将开发流程编码为可执行 skills 的初步探索，覆盖 CUDA 崩溃调试、基准测试、profiling、扩散模型接入和生产事故分诊。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5151 SGLang 集成 DSpark：基于置信度的变长验证投机解码
SGLang 宣布正式支持 DSpark 投机解码算法（PR sgl-project/sglang#30261），覆盖 Qwen3 等稠密模型和 DeepSeek-V4 等稀疏模型。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3737 Netpreme X-Mem MPU 如何加速 SGLang HiCache：TTFT 提升 6.7 倍
Netpreme X-Mem™ MPU 作为专用 KV 内存层接入 SGLang HiCache，在前缀密集型负载下将首 token 延迟（TTFT）较 Host DRAM 方案降低 6.7 倍。