NVIDIA Dynamo-Triton 部署 HSTU 生成式推荐模型

NVIDIA Dynamo-Triton 现已通过 recsys-examples 仓库支持 HSTU 生成式推荐模型的端到端推理工作流，结合 PyTorch AOTI 编译、FlexKV KV 缓存与 NV embedding cache。

Lakebase Postgres 成本优化实用指南

Databricks 的 Lakebase Postgres 通过存储与计算分离架构实现成本优化：分支共享底层存储、自动扩缩容支持 scale to zero（数百毫秒恢复），关闭后按基线容量 25% 折扣计费。同步 Lakehouse 数据时建议只同步应用所需的活跃子集（如 60 天滚动窗口），并按数据新鲜度选择 Snapshot、Triggered 或 Continuous 三种同步模式。

NVIDIA AI@NVIDIAAIAI 评分3535

一条提示词在30分钟内为制造产线构建并部署了一个视觉AI智能体，具备告警、视频搜索和事件报告功能。 查看我们的新教程，了解如何使用 NVIDIA VSS Blueprint 3.3 中新的 Build Vision AI 技能来构建一个。 教程：https://nvda.ws/4AEyKfS

用 Amazon Bedrock Knowledge Bases 以自然语言查询理赔数据

Amazon Bedrock Knowledge Bases 新增 AgenticRetrieveStream API，可将理赔文档的多部分问题拆成子查询并多轮检索，直到证据充分再生成带引用的答案。

NVIDIA AI@NVIDIAAIAI 评分3333

你的智能体得到了正确答案。它花了多少功夫才走到那一步？ 我们与 @NousResearch/@Teknium 合作，带来一篇 NVIDIA NeMo Relay 的实操演练，为 Hermes Agent 收集追踪数据。运行两个示例场景，跟随智能体的调用与重试，并在 Arize Phoenix 中查看完整追踪。 博客还探讨了 Nous 如何利用追踪和任务结果，在重复运行中评估修复效果。 TechBlog: https://nvda.ws/47tKxjQ 📽️ 来自我们自家的 @Picomoorhead：

NVIDIA NeMo Relay 如何追踪 AI 智能体执行框架行为

NVIDIA NeMo Relay 可追踪 AI 智能体执行框架（agent harness）的行为，揭示智能体在完成任务时走过的低效路径。失败的搜索会触发另一次搜索，被截断的文件读取会导致命令重复获取相同内容，这些多余步骤虽被正确答案掩盖，却增加延迟并消耗 token。

某大型银行如何用 LLM 与 TensorZero 自动化代码变更日志

欧洲一家大型银行的 DevOps 工程师 Mark 借助开源平台 TensorZero 构建变更日志自动化系统，接入 GitLab merge request 与 CI/CD 流程，并用 Ollama 实现全自托管部署，数据不出内网。系统利用内置的动态上下文学习（DICL），将工程师对 AI 生成日志的修改自动用于优化后续推理，无需微调或标注数据集。

从 NER 到智能体：自动化提示词工程能否扩展到复杂任务？

TensorZero 团队测试了 MIPRO 自动化提示词优化方法在从命名实体识别（CoNLL++）、多跳检索（HoVer）到文本游戏导航（BabyAI）和智能体工具调用客服（τ-bench）等任务上的表现，探究其随任务复杂度提升的效果变化。MIPRO 通过贝叶斯优化器搜索指令与少样本示例，无需梯度或细粒度标签，团队用约 200 行代码重实现独立版本，指令生成使用 OpenAI 的 o1 模型。

TensorZero 团队逆向 Cursor 的 LLM 客户端，公开其系统提示词

TensorZero 团队将自研开源网关部署为 Cursor 与 LLM 提供商之间的自托管代理，成功观察并替换 Cursor 的模型调用。

Suno 发布 Voices 使用指南，给出 6 条提升音色质量建议

Suno 官方发布 Voices 功能的 6 条使用建议，帮助用户获得更高质量的声音效果。建议包括在安静环境录音、录音前练习、不必追求完美、尽量录制更长参考音频（至少一分钟）、根据曲风匹配声音，并尝试不同曲风。Voices 现已在 Web、iOS 和 Android 上线，可免费试用，付费方案提供更多功能。

Suno 呼吁创作者发布作品：为什么该按下发布键

Suno 产品经理 Katelynn Kyker 发文呼吁创作者把作品从私人曲库中发布出来，让平台上数百万听众听到。文章给出三个理由：触达数百万听众、通过真实听众反馈了解作品共鸣点、开放作品供社区 remix 并激发他人。作者强调发布不必等到作品完美，早期且持续发布的创作者成长最快。

METR 发布 AI 智能体能力激发评估指南：如何逼近模型完整能力上限

METR 发布了一套针对 AI 智能体的能力激发（capability elicitation）评估指南，目标是在测试集上得到能代表模型完整能力的分数，而非直接使用未经增强的模型。

SGLang 推出 EPD 分离架构：为视觉语言模型实现弹性编码器扩展

SGLang 推出 Encoder-Prefill-Decode（EPD）分离架构，将视觉语言模型（VLM）的视觉编码与语言处理拆分为三层，使编码器服务器可独立横向扩展。

SGLang 流水线并行（PP）实现：面向百万级 Token 上下文与超长序列推理

SGLang 推出高度优化的流水线并行（PP）实现，结合分块流水线并行、异步 P2P 通信与动态分块机制，专攻超长上下文推理。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1，分块预填充设为 12K 时预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高 30.5%，TTFT 最多降低 67.9%，强扩展效率 82.8%。

Novita AI 分享 GLM4-MoE 生产部署优化：基于 SGLang 将 TTFT 最高降低 65%

Novita AI 发布基于 SGLang 部署 GLM4-MoE 模型的端到端推理优化方案，TTFT 最高降低 65%，agentic coding 负载下 TPOT 提升 22%，结果在 H200 集群 TP8、FP8 配置下验证。

SGLang RL 团队实现 INT4 QAT 端到端流程：约 1TB 模型单张 H200 完成 rollout

SGLang RL 团队联合 InfiXAI、蚂蚁 Asystem & AQ Infra、slime、RadixArk 团队，在 slime 框架上落地了 INT4 QAT 端到端流程，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性与稳定性。

千问（Qwen）联合 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟

千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 与 Qwen3-VL-235B 完成极致延迟优化。

SGLang-Diffusion 如何为生产级视频生成做深度优化

SGLang-Diffusion 团队公布面向生产级视频生成的进阶优化，覆盖并行策略、VAE 与多请求服务稳定性。序列并行从帧级改为 token 级分片，在 8×H100 上把填充开销从 3 帧（14.3%）降到 0，all-to-all 通信量降至 0.875×。

在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提升

NVIDIA 与 SGLang 团队公布在 GB300 NVL72 上优化 DeepSeek R1-NVFP4 长上下文推理的进展，128K/8K 场景下 SGLang 达到 226.2 TPS/GPU，较 GB200 提升 1.53 倍。

SGLang 集成 Elastic EP：为 DeepSeek MoE 部署实现部分故障容错

SGLang 框架集成 Elastic EP，通过解耦专家与 GPU 的固定映射实现部分故障容错，DeepSeek V3.2 在 32 GPU、256 冗余专家配置下服务中断控制在 10 秒内，较完整重启的 2-3 分钟减少 90%。该方案静态性能与标准 DeepEP 持平，系统吞吐 3560.21 tokens/sec，由 Mooncake EP 提供容错通信层支持。

HiSparse：用分层内存为稀疏注意力提速，GLM-5.1-FP8 长上下文吞吐最高提升 5 倍

LMSYS 团队提出 HiSparse 分层内存系统，将不活跃的 KV cache 卸载到主机内存、在 GPU HBM 保留热缓冲区，缓解稀疏注意力的显存容量瓶颈。在 GLM-5.1-FP8 上，8×H200 部署下 256 并发请求吞吐达基线 3 倍以上，长上下文场景最高提升 5 倍。目前支持 DeepSeek-V3.2 与 GLM-5.1 等采用 DSA 的模型，属实验性功能。

SGLang 推出基于 RDMA 的 P2P 权重更新机制，1T 参数 Kimi-K2 传输从 53 秒降至 7.2 秒

SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。

AMD 与 SGLang 团队详解 MI355X 上 DeepSeek-R1 分离式推理如何做到 TCO 对标 B200

AMD 与 SGLang 团队联合发布博客，展示基于 SGLang 和 MoRI 通信库的 DeepSeek-R1 分离式推理在 AMD Instinct MI355X 上实现有竞争力的 TCO，结果由 SemiAnalysis 的 InferenceX 基准平台验证。

Intel 与 SGLang 团队用 Dynamo 实现异构 CPU+GPU EPD 分离，加速 VLM 推理

Intel 与 SGLang 团队通过 Dynamo 和 SGLang 为视觉语言模型（VLM）实现异构 Encode-Prefill-Decode（EPD）分离，将视觉编码任务卸载到 CPU。在 Qwen3-VL-8B-Instruct 上，该方案在 QPS 1-2 负载下带来约 1.2x-1.3x 的 P99 TTFT 和请求吞吐提升，P99 TPOT 降低约 1.3x-30x。

Miles 团队详解智能体 RL 中的 Token-In-Token-Out（TITO）原则

Miles 团队提出 Token-In-Token-Out（TITO）原则，要求智能体 RL 中每一轮的总 token 序列（prompt + response）必须是下一轮 prompt token 序列的逐位完美前缀，以保证训练与推理一致。

SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T：用单个 Pallas Kernel 把 MoE 数据搬运藏在计算背后

SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新 Pallas kernel Fused MoE V2 将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms，降幅 53%。

SGLang 用 Waterfill 与 LPLB 改进 DeepEP MoE 负载均衡

SGLang 为 DeepEP MoE 推理引入 Waterfill 和 LPLB 两项调度期负载均衡特性。

SGLang 团队探索智能体辅助开发：用 SKILL.md 与评测循环优化推理框架

SGLang 团队发布博客，介绍将开发流程编码为可执行 skills 的初步探索，覆盖 CUDA 崩溃调试、基准测试、profiling、扩散模型接入和生产事故分诊。

SGLang 为 GLM-5.2 NVFP4 智能体负载提速：8xB300 上突破 500 TPS

SGLang 团队为 GLM-5.2 NVFP4 检查点优化推理，在 8xB300（bs=1）上实现超过 500 TPS，两周内完成。默认开启的 Spec V2 重叠调度带来 11% 端到端 TPS 提升，IndexShare MTP 让草稿步成本在长上下文下最多降低约 1.9 倍。

SGLang 与 Miles 为 Kimi K3 提供 Day-0 推理与 RL 训练支持

SGLang 团队与 Miles 宣布在发布当天支持 Moonshot AI 的 Kimi K3，覆盖 SGLang 推理和 Miles RL 训练。K3 是首个 3 万亿参数级的开源模型，2.8T 参数、1M token 上下文，采用 69 层 KDA 线性注意力加 24 层 MLA 的混合架构及 LatentMoE 和 Attention Residuals。

SGLang 量化栈重构：分离 checkpoint 解析与硬件内核执行

SGLang 提出基于 Scheme 的量化架构重构（issue #15194），将量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层，使 checkpoint 格式与硬件后端可独立演进。

Miles 实现 Blackwell 原生 MXFP8 与 NVFP4 强化学习方案

Miles 团队在 Miles 中实现了两种 Blackwell 原生 RL 方案：端到端 MXFP8，以及面向 MoE 专家的 per-token NVFP4，覆盖 checkpoint 转换、Megatron 训练、SGLang rollout 与实时权重更新。

SGL-Diffusion 中 AR+DiT 全栈性能优化：用 SRT 替换 HF 后端并解耦 AR 与 DiT 并行策略

SGL-Diffusion 团队用 SRT 替换 HF 后端，将 AR 阶段从扩散 worker 中解耦为独立服务，使 AR 可单独配置 TP、DiT 保留 SP。

SGLang 推出 Unified Radix Cache：用一棵基数树统一混合模型前缀缓存

SGLang 发布 Unified Radix Cache，用单一 token 基数树统一 full attention KV、滑动窗口 KV 与 Mamba 循环状态的复用边界，替代此前的缓存类矩阵。

SGLang 中的高级 CUDA Graph 技术：Breakable CUDA Graph 与 prefill 全图捕获

SGLang 团队详解其 CUDA Graph 重构，将支持拆分为 runner/backend 两层，使不同捕获策略可跨执行路径复用。

LMSYS 博客：DeepSeek-V4-Pro 在 H20 GPU 上的极限推理部署

LMSYS 博客给出 1.6 万亿参数 MoE 模型 DeepSeek-V4-Pro 在 H20 GPU 上的服务优化方案，单节点 H20-141GB 在 batch size 1 下达到 271 output tokens/s，与 B300 的 383.7 tokens/s 相比解码性能差距缩小至 1.42×。

Mooncake 如何为 Miles 加速 RL rollout 数据批量传输

Mooncake 社区发布博客，介绍 Mooncake 如何为大规模强化学习框架 Miles 解决 rollout 数据传输瓶颈。

Liquid AI LFM 模型文档：模型系列、部署格式与量化选型指南

Liquid AI 官方文档介绍其 Liquid Foundation Models (LFM) 多模态模型家族，面向快速推理和端侧部署，统一支持 32K 上下文（LFM2.5-8B-A1B 为 128K）。

Liquid AI 与 .txt 合作：用 LFM2-350M 加 dotgrammar 实现端侧可靠函数调用

Liquid AI 与 .txt 合作展示如何在边缘设备上实现可靠的 LLM 函数调用：LFM2-350M 无量化下内存占用低于 1 GB、常见边缘硬件推理时间低于 100ms，配合 .txt 的 dotgrammar 库用上下文无关文法保证输出语法有效且不增加推理延迟。

Liquid AI 如何用 ExecuTorch 实现高效灵活的设备端智能

Liquid AI 在开发 LFM2 系列开放权重模型时选用 PyTorch ExecuTorch 作为推理引擎，看中其混合缓存支持与单条命令打包权重、元数据和执行图的自动化部署流程。