开发者环境揭秘：一台 HP Z440 服务器上的自建私有云与智能体基础设施

一位开发者用 Intel Xeon E5-2683 v4、32GB ECC DDR4 和 NVIDIA Quadro M2000 4GB 的 HP Z440 服务器搭建开发环境，把多数服务以容器形式运行，视作小型私有云。

作者发布 Promptline，用一键热键把常用提示词变成可复用词汇

作者发布开源工具 Promptline（MIT，Windows 10/11，macOS 开发中），把反复手打的提示词命名为可复用词汇，通过 Ctrl+Alt+V 热键把选中提示词连同剪贴板内容粘贴到 Claude Code、Codex、Cursor 等窗口。

工程师复盘十个月围绕 Claude Code 搭建守护框架的经验与教训

一位工程师复盘十个月为 Claude Code 逐步搭建 hooks、门禁和守护框架的经历，核心结论是“仪表会撒谎”，提示词只是请求，真正有效的是代码边界。

NVIDIA AI@NVIDIAAIAI 评分3333

你的智能体得到了正确答案。它花了多少功夫才走到那一步？ 我们与 @NousResearch/@Teknium 合作，带来一篇 NVIDIA NeMo Relay 的实操演练，为 Hermes Agent 收集追踪数据。运行两个示例场景，跟随智能体的调用与重试，并在 Arize Phoenix 中查看完整追踪。 博客还探讨了 Nous 如何利用追踪和任务结果，在重复运行中评估修复效果。 TechBlog: https://nvda.ws/47tKxjQ 📽️ 来自我们自家的 @Picomoorhead：

jason@jxnlcoAI 评分3434

Jason Liu 表示，用原生 Codex 就能完成 dot/space 的几乎所有功能，无需依赖这些工具。他此前用 15 个带心跳自动化的置顶任务、基于 agents.md 的 GitHub 记忆库，以及 4-5 个渲染产物的迷你应用搭建了整套工作流。他还通过一对一沟通让技术与非技术团队都能克隆仓库并按规则协作。

NVIDIA NeMo Relay 如何追踪 AI 智能体执行框架行为

NVIDIA NeMo Relay 可追踪 AI 智能体执行框架（agent harness）的行为，揭示智能体在完成任务时走过的低效路径。失败的搜索会触发另一次搜索，被截断的文件读取会导致命令重复获取相同内容，这些多余步骤虽被正确答案掩盖，却增加延迟并消耗 token。

Anthropic 详解可解释性工具 Garçon：面向大模型的基础设施

Anthropic 公开其可解释性研究基础设施 Garçon，用于在超出单节点规模的大模型上做机制可解释性实验。用户可通过 `python -m garcon.launch` 启动服务器并连接模型，借助 probe points 与 probe 函数在任意层读取、修改或消融内部激活，并支持前向与反向传播。服务器按连接保存数据，空闲 1 小时后自动关闭。

Anthropic 发布 PySvelte：连接 Python 与 Svelte 的可解释性可视化库

Anthropic 开源 PySvelte，用于在 Python 中调用 Svelte 组件构建神经网络可解释性可视化。该库让 src/ 下的 Svelte 组件自动暴露为 pysvelte.Hello() 等 Python 接口，支持 NumPy 数组传入、Jupyter/Colab 内联显示及 .publish() 发布到 GCS/S3/AZ 并分享至 Slack。

Anthropic 可解释性研究：逆向工程 Transformer 的参数级练习

Anthropic 的 Transformer Circuits 团队发布了一组练习，用于理解神经网络如何在参数层面实现算法，作为其逆向工程 Transformer 数学框架的补充材料。练习要求手动写出注意力头的 W_Q、W_K、W_V、W_out 权重矩阵，涵盖虚拟注意力头、归纳头（指针算术版与前一 token K-Composition 版）等实现，并附有解答。

某大型银行如何用 LLM 与 TensorZero 自动化代码变更日志

欧洲一家大型银行的 DevOps 工程师 Mark 借助开源平台 TensorZero 构建变更日志自动化系统，接入 GitLab merge request 与 CI/CD 流程，并用 Ollama 实现全自托管部署，数据不出内网。系统利用内置的动态上下文学习（DICL），将工程师对 AI 生成日志的修改自动用于优化后续推理，无需微调或标注数据集。

从 NER 到智能体：自动化提示词工程能否扩展到复杂任务？

TensorZero 团队测试了 MIPRO 自动化提示词优化方法在从命名实体识别（CoNLL++）、多跳检索（HoVer）到文本游戏导航（BabyAI）和智能体工具调用客服（τ-bench）等任务上的表现，探究其随任务复杂度提升的效果变化。MIPRO 通过贝叶斯优化器搜索指令与少样本示例，无需梯度或细粒度标签，团队用约 200 行代码重实现独立版本，指令生成使用 OpenAI 的 o1 模型。

TensorZero 团队逆向 Cursor 的 LLM 客户端，公开其系统提示词

TensorZero 团队将自研开源网关部署为 Cursor 与 LLM 提供商之间的自托管代理，成功观察并替换 Cursor 的模型调用。

Suno 呼吁创作者发布作品：为什么该按下发布键

Suno 产品经理 Katelynn Kyker 发文呼吁创作者把作品从私人曲库中发布出来，让平台上数百万听众听到。文章给出三个理由：触达数百万听众、通过真实听众反馈了解作品共鸣点、开放作品供社区 remix 并激发他人。作者强调发布不必等到作品完美，早期且持续发布的创作者成长最快。

Prime Intellect 谈全球分布式训练的最新技术进展

Prime Intellect 发布文章，梳理全球分布式训练的前沿方法，以应对开源社区难以匹敌闭源厂商大规模 H100 集群的困境。

Prime Intellect 发布 prime-rl 0.6.0，支持万亿参数模型 Agentic RL 训练

Prime Intellect 发布 prime-rl 0.6.0，可在 28 个 H200 节点上以最高 131k 序列长度、sub-5 分钟 step 时间和 256 rollouts 批大小训练 GLM-5 等万亿参数 MoE 模型执行 SWE 任务。

METR 发布 AI 智能体能力激发评估指南：如何逼近模型完整能力上限

METR 发布了一套针对 AI 智能体的能力激发（capability elicitation）评估指南，目标是在测试集上得到能代表模型完整能力的分数，而非直接使用未经增强的模型。

SGLang 推出 EPD 分离架构：为视觉语言模型实现弹性编码器扩展

SGLang 推出 Encoder-Prefill-Decode（EPD）分离架构，将视觉语言模型（VLM）的视觉编码与语言处理拆分为三层，使编码器服务器可独立横向扩展。

SGLang 流水线并行（PP）实现：面向百万级 Token 上下文与超长序列推理

SGLang 推出高度优化的流水线并行（PP）实现，结合分块流水线并行、异步 P2P 通信与动态分块机制，专攻超长上下文推理。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1，分块预填充设为 12K 时预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高 30.5%，TTFT 最多降低 67.9%，强扩展效率 82.8%。

Novita AI 分享 GLM4-MoE 生产部署优化：基于 SGLang 将 TTFT 最高降低 65%

Novita AI 发布基于 SGLang 部署 GLM4-MoE 模型的端到端推理优化方案，TTFT 最高降低 65%，agentic coding 负载下 TPOT 提升 22%，结果在 H200 集群 TP8、FP8 配置下验证。

SGLang RL 团队实现 INT4 QAT 端到端流程：约 1TB 模型单张 H200 完成 rollout

SGLang RL 团队联合 InfiXAI、蚂蚁 Asystem & AQ Infra、slime、RadixArk 团队，在 slime 框架上落地了 INT4 QAT 端到端流程，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性与稳定性。

千问（Qwen）联合 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟

千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 与 Qwen3-VL-235B 完成极致延迟优化。

SGLang-Diffusion 如何为生产级视频生成做深度优化

SGLang-Diffusion 团队公布面向生产级视频生成的进阶优化，覆盖并行策略、VAE 与多请求服务稳定性。序列并行从帧级改为 token 级分片，在 8×H100 上把填充开销从 3 帧（14.3%）降到 0，all-to-all 通信量降至 0.875×。

在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提升

NVIDIA 与 SGLang 团队公布在 GB300 NVL72 上优化 DeepSeek R1-NVFP4 长上下文推理的进展，128K/8K 场景下 SGLang 达到 226.2 TPS/GPU，较 GB200 提升 1.53 倍。

SGLang 集成 Elastic EP：为 DeepSeek MoE 部署实现部分故障容错

SGLang 框架集成 Elastic EP，通过解耦专家与 GPU 的固定映射实现部分故障容错，DeepSeek V3.2 在 32 GPU、256 冗余专家配置下服务中断控制在 10 秒内，较完整重启的 2-3 分钟减少 90%。该方案静态性能与标准 DeepEP 持平，系统吞吐 3560.21 tokens/sec，由 Mooncake EP 提供容错通信层支持。

HiSparse：用分层内存为稀疏注意力提速，GLM-5.1-FP8 长上下文吞吐最高提升 5 倍

LMSYS 团队提出 HiSparse 分层内存系统，将不活跃的 KV cache 卸载到主机内存、在 GPU HBM 保留热缓冲区，缓解稀疏注意力的显存容量瓶颈。在 GLM-5.1-FP8 上，8×H200 部署下 256 并发请求吞吐达基线 3 倍以上，长上下文场景最高提升 5 倍。目前支持 DeepSeek-V3.2 与 GLM-5.1 等采用 DSA 的模型，属实验性功能。

SGLang 推出基于 RDMA 的 P2P 权重更新机制，1T 参数 Kimi-K2 传输从 53 秒降至 7.2 秒

SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。

AMD 与 SGLang 团队详解 MI355X 上 DeepSeek-R1 分离式推理如何做到 TCO 对标 B200

AMD 与 SGLang 团队联合发布博客，展示基于 SGLang 和 MoRI 通信库的 DeepSeek-R1 分离式推理在 AMD Instinct MI355X 上实现有竞争力的 TCO，结果由 SemiAnalysis 的 InferenceX 基准平台验证。

Intel 与 SGLang 团队用 Dynamo 实现异构 CPU+GPU EPD 分离，加速 VLM 推理

Intel 与 SGLang 团队通过 Dynamo 和 SGLang 为视觉语言模型（VLM）实现异构 Encode-Prefill-Decode（EPD）分离，将视觉编码任务卸载到 CPU。在 Qwen3-VL-8B-Instruct 上，该方案在 QPS 1-2 负载下带来约 1.2x-1.3x 的 P99 TTFT 和请求吞吐提升，P99 TPOT 降低约 1.3x-30x。

Miles 团队详解智能体 RL 中的 Token-In-Token-Out（TITO）原则

Miles 团队提出 Token-In-Token-Out（TITO）原则，要求智能体 RL 中每一轮的总 token 序列（prompt + response）必须是下一轮 prompt token 序列的逐位完美前缀，以保证训练与推理一致。

SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T：用单个 Pallas Kernel 把 MoE 数据搬运藏在计算背后

SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新 Pallas kernel Fused MoE V2 将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms，降幅 53%。

SGLang 用 Waterfill 与 LPLB 改进 DeepEP MoE 负载均衡

SGLang 为 DeepEP MoE 推理引入 Waterfill 和 LPLB 两项调度期负载均衡特性。

SGLang 团队探索智能体辅助开发：用 SKILL.md 与评测循环优化推理框架

SGLang 团队发布博客，介绍将开发流程编码为可执行 skills 的初步探索，覆盖 CUDA 崩溃调试、基准测试、profiling、扩散模型接入和生产事故分诊。

SGLang 为 GLM-5.2 NVFP4 智能体负载提速：8xB300 上突破 500 TPS

SGLang 团队为 GLM-5.2 NVFP4 检查点优化推理，在 8xB300（bs=1）上实现超过 500 TPS，两周内完成。默认开启的 Spec V2 重叠调度带来 11% 端到端 TPS 提升，IndexShare MTP 让草稿步成本在长上下文下最多降低约 1.9 倍。

SGLang 量化栈重构：分离 checkpoint 解析与硬件内核执行

SGLang 提出基于 Scheme 的量化架构重构（issue #15194），将量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层，使 checkpoint 格式与硬件后端可独立演进。

Miles 实现 Blackwell 原生 MXFP8 与 NVFP4 强化学习方案

Miles 团队在 Miles 中实现了两种 Blackwell 原生 RL 方案：端到端 MXFP8，以及面向 MoE 专家的 per-token NVFP4，覆盖 checkpoint 转换、Megatron 训练、SGLang rollout 与实时权重更新。

SGL-Diffusion 中 AR+DiT 全栈性能优化：用 SRT 替换 HF 后端并解耦 AR 与 DiT 并行策略

SGL-Diffusion 团队用 SRT 替换 HF 后端，将 AR 阶段从扩散 worker 中解耦为独立服务，使 AR 可单独配置 TP、DiT 保留 SP。

腾讯混元 HPC-Ops 的 Attention、Router GEMM 与 MoE 算子合入 SGLang 主分支

腾讯混元 AI Infra 与 SGLang 团队宣布，HPC-Ops 的 Attention、Router GEMM 和 MoE 算子已合入 SGLang 主分支。

SGLang 推出 Unified Radix Cache：用一棵基数树统一混合模型前缀缓存

SGLang 发布 Unified Radix Cache，用单一 token 基数树统一 full attention KV、滑动窗口 KV 与 Mamba 循环状态的复用边界，替代此前的缓存类矩阵。

SGLang 中的高级 CUDA Graph 技术：Breakable CUDA Graph 与 prefill 全图捕获

SGLang 团队详解其 CUDA Graph 重构，将支持拆分为 runner/backend 两层，使不同捕获策略可跨执行路径复用。

LMSYS 博客：DeepSeek-V4-Pro 在 H20 GPU 上的极限推理部署

LMSYS 博客给出 1.6 万亿参数 MoE 模型 DeepSeek-V4-Pro 在 H20 GPU 上的服务优化方案，单节点 H20-141GB 在 batch size 1 下达到 271 output tokens/s，与 B300 的 383.7 tokens/s 相比解码性能差距缩小至 1.42×。