跳到正文

#部署/工程

今日 8 条
今天10月1日周四
  1. NVIDIA Technical Blog:Agentic AI / Generative AI41

    NVIDIA 扩展 xio-sig 加入 cuObject,并发布 SCADA Server SDK

    NVIDIA 将 cuObject 纳入 xio-sig,与 cuFile 并列,并宣布 cuObject 客户端与服务器库正式可用,开发者可基于其 API 和 RDMA 线协议构建加速对象存储应用。新的 SCADA Server SDK 让存储厂商构建响应 GPU 发起请求的 SCADA 服务器,IBM 已用集成 SCADA 与 IBM Storage Scale 的原型验证互操作性。

  2. Databricks:Blog(RSS)40

    Lakebase Postgres 成本优化实用指南

    Databricks 的 Lakebase Postgres 通过存储与计算分离架构实现成本优化:分支共享底层存储、自动扩缩容支持 scale to zero(数百毫秒恢复),关闭后按基线容量 25% 折扣计费。同步 Lakehouse 数据时建议只同步应用所需的活跃子集(如 60 天滚动窗口),并按数据新鲜度选择 Snapshot、Triggered 或 Continuous 三种同步模式。

  3. NVIDIA AI33

    你的智能体得到了正确答案。它花了多少功夫才走到那一步? 我们与 @NousResearch/@Teknium 合作,带来一篇 NVIDIA NeMo Relay 的实操演练,为 Hermes Agent 收集追踪数据。运行两个示例场景,跟随智能体的调用与重试,并在 Arize Phoenix 中查看完整追踪。 博客还探讨了 Nous 如何利用追踪和任务结果,在重复运行中评估修复效果。 TechBlog: https://nvda.ws/47tKxjQ 📽️ 来自我们自家的 @Picomoorhead:

9月30日周三
  1. xAI:News(网页)62

    xAI 发布编码模型 grok-build-0.1,API 公测上线

    xAI 将编码模型 grok-build-0.1 以公开测试形式上线 xAI API,该模型专为智能体编码任务训练,支持 Web 开发、调试和 MCP,也是驱动 Grok Build 的同一模型。

    推荐理由:xAI 官方公告给出了 grok-build-0.1 的定位、速度、定价和适配工具,读者可据此评估是否接入自己的编码工作流。

  2. Cloudflare Developers54

    Cloudflare Developers 转发官方公告,宣布 Cloudflare Containers 面向 Agent 沙箱的重大升级。容器启动速度提升 6 倍,支持 Agent 在运行时为每个沙箱选择镜像和实例类型,文件系统快照进入公测,全部通过 Durable Object 控制。

    引用Cloudflare@Cloudflare

    Cloudflare Containers now start 6x faster, let your agent choose each sandbox's image and instance type at runtime, and support filesystem snapshots in public beta, all controlled from a Durable Object. https://cfl.re/4hVasac #BirthdayWeek

  3. TensorZero:实验与工程博客47

    TensorZero:把 LLM 应用看作 POMDP,而不是 Agent

    TensorZero 提出把 LLM 应用建模为部分可观测马尔可夫决策过程(POMDP),而非 Agent,认为应用与 LLM 的接口应是变量间的函数 f:X→Y,而不是提示词与生成结果。该框架由此推导出推理、可观测性、优化、评估与实验的闭环方法,并已开源其生产级子集,还在一项 AI 电话智能体试点中取得显著提升。

  4. TensorZero:实验与工程博客32

    某大型银行如何用 LLM 与 TensorZero 自动化代码变更日志

    欧洲一家大型银行的 DevOps 工程师 Mark 借助开源平台 TensorZero 构建变更日志自动化系统,接入 GitLab merge request 与 CI/CD 流程,并用 Ollama 实现全自托管部署,数据不出内网。系统利用内置的动态上下文学习(DICL),将工程师对 AI 生成日志的修改自动用于优化后续推理,无需微调或标注数据集。

  5. LMSYS:Blog(Chatbot Arena 团队)45

    SGLang 流水线并行(PP)实现:面向百万级 Token 上下文与超长序列推理

    SGLang 推出高度优化的流水线并行(PP)实现,结合分块流水线并行、异步 P2P 通信与动态分块机制,专攻超长上下文推理。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1,分块预填充设为 12K 时预填充吞吐达 TP8 的 3.31 倍,比 TP32 方案高 30.5%,TTFT 最多降低 67.9%,强扩展效率 82.8%。

  6. LMSYS:Blog(Chatbot Arena 团队)63

    SGLang-Diffusion 发布两个月:速度较初版提升至 2.5 倍,新增 ComfyUI 集成与 LoRA 支持

    LMSYS Chatbot Arena 团队复盘 SGLang-Diffusion 自 2025 年 11 月初发布两个月来的进展,当前版本(docker tag: lmsysorg/sglang:dev-pr-17247)比初版快最多 2.5 倍,在 NVIDIA GPU 上较其他方案最高快 5x。

    推荐理由:官方复盘发布两个月来的优化成果,速度较初版提升至 2.5 倍,并新增 ComfyUI 集成和 LoRA 支持,读者可评估是否迁移现有图像视频生成工作流。

  7. LMSYS:Blog(Chatbot Arena 团队)44

    SGLang 集成 Elastic EP:为 DeepSeek MoE 部署实现部分故障容错

    SGLang 框架集成 Elastic EP,通过解耦专家与 GPU 的固定映射实现部分故障容错,DeepSeek V3.2 在 32 GPU、256 冗余专家配置下服务中断控制在 10 秒内,较完整重启的 2-3 分钟减少 90%。该方案静态性能与标准 DeepEP 持平,系统吞吐 3560.21 tokens/sec,由 Mooncake EP 提供容错通信层支持。

  8. LMSYS:Blog(Chatbot Arena 团队)46

    HiSparse:用分层内存为稀疏注意力提速,GLM-5.1-FP8 长上下文吞吐最高提升 5 倍

    LMSYS 团队提出 HiSparse 分层内存系统,将不活跃的 KV cache 卸载到主机内存、在 GPU HBM 保留热缓冲区,缓解稀疏注意力的显存容量瓶颈。在 GLM-5.1-FP8 上,8×H200 部署下 256 并发请求吞吐达基线 3 倍以上,长上下文场景最高提升 5 倍。目前支持 DeepSeek-V3.2 与 GLM-5.1 等采用 DSA 的模型,属实验性功能。

  9. LMSYS:Blog(Chatbot Arena 团队)68

    SGLang 与 Miles 发布对 DeepSeek-V4 的 Day-0 推理与 RL 训练支持

    LMSYS 的 SGLang 与 Miles 团队宣布对 DeepSeek-V4(1.6T Pro、284B Flash)提供 Day-0 推理和 RL 训练支持,是首个在发布日同时服务与训练该模型的开源栈。

    推荐理由:LMSYS 团队详述了为 DeepSeek-V4 混合稀疏注意力等新架构所做的推理与 RL 训练优化,附基准数据。

  10. LMSYS:Blog(Chatbot Arena 团队)72

    SGLang 和 Miles 实现 NVIDIA Nemotron 3 Ultra Day-0 支持

    SGLang 和 Miles 宣布对 NVIDIA Nemotron 3 Ultra 提供 Day-0 支持。该模型为开源 MoE 混合 Transformer-Mamba 架构,总参数 550B、激活 55B,上下文最长 1M tokens,支持 NVFP4 与 BF16 权重,面向长程自主智能体优化。

    推荐理由:原文给出架构、部署配置和 RL 训练细节,读者可以据此评估该模型在长程智能体场景的可用性。