Anthropic 可解释性研究：逆向工程 Transformer 的参数级练习
Anthropic 的 Transformer Circuits 团队发布了一组练习，用于理解神经网络如何在参数层面实现算法，作为其逆向工程 Transformer 数学框架的补充材料。练习要求手动写出注意力头的 W_Q、W_K、W_V、W_out 权重矩阵，涵盖虚拟注意力头、归纳头（指针算术版与前一 token K-Composition 版）等实现，并附有解答。
#教程/实践
#教程/实践
今日 38 条Anthropic：Transformer Circuits（可解释性研究）AI 评分3939 TensorZero：实验与工程博客AI 评分3232 某大型银行如何用 LLM 与 TensorZero 自动化代码变更日志
欧洲一家大型银行的 DevOps 工程师 Mark 借助开源平台 TensorZero 构建变更日志自动化系统，接入 GitLab merge request 与 CI/CD 流程，并用 Ollama 实现全自托管部署，数据不出内网。系统利用内置的动态上下文学习（DICL），将工程师对 AI 生成日志的修改自动用于优化后续推理，无需微调或标注数据集。
TensorZero：实验与工程博客AI 评分4242 从 NER 到智能体：自动化提示词工程能否扩展到复杂任务？
TensorZero 团队测试了 MIPRO 自动化提示词优化方法在从命名实体识别（CoNLL++）、多跳检索（HoVer）到文本游戏导航（BabyAI）和智能体工具调用客服（τ-bench）等任务上的表现，探究其随任务复杂度提升的效果变化。MIPRO 通过贝叶斯优化器搜索指令与少样本示例，无需梯度或细粒度标签，团队用约 200 行代码重实现独立版本，指令生成使用 OpenAI 的 o1 模型。
TensorZero：实验与工程博客精选AI 评分6969 TensorZero 团队逆向 Cursor 的 LLM 客户端，公开其系统提示词
TensorZero 团队将自研开源网关部署为 Cursor 与 LLM 提供商之间的自托管代理，成功观察并替换 Cursor 的模型调用。
推荐理由：作者以第一手实验给出自建代理查看 Cursor 提示词的完整路径，还分享了系统提示词和模型分层等可复核的细节。
Suno：Blog（网页）AI 评分5555 Suno 发布 Voices 使用指南，给出 6 条提升音色质量建议
Suno 官方发布 Voices 功能的 6 条使用建议，帮助用户获得更高质量的声音效果。建议包括在安静环境录音、录音前练习、不必追求完美、尽量录制更长参考音频（至少一分钟）、根据曲风匹配声音，并尝试不同曲风。Voices 现已在 Web、iOS 和 Android 上线，可免费试用，付费方案提供更多功能。
Suno：Blog（网页）AI 评分1717 Suno 呼吁创作者发布作品：为什么该按下发布键
Suno 产品经理 Katelynn Kyker 发文呼吁创作者把作品从私人曲库中发布出来，让平台上数百万听众听到。文章给出三个理由：触达数百万听众、通过真实听众反馈了解作品共鸣点、开放作品供社区 remix 并激发他人。作者强调发布不必等到作品完美，早期且持续发布的创作者成长最快。
Prime Intellect（网页）AI 评分3333 Prime Intellect 谈全球分布式训练的最新技术进展
Prime Intellect 发布文章，梳理全球分布式训练的前沿方法，以应对开源社区难以匹敌闭源厂商大规模 H100 集群的困境。
METR：Research（网页）AI 评分4444 METR 发布 AI 智能体能力激发评估指南：如何逼近模型完整能力上限
METR 发布了一套针对 AI 智能体的能力激发（capability elicitation）评估指南，目标是在测试集上得到能代表模型完整能力的分数，而非直接使用未经增强的模型。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4646 SGLang 推出 EPD 分离架构：为视觉语言模型实现弹性编码器扩展
SGLang 推出 Encoder-Prefill-Decode（EPD）分离架构，将视觉语言模型（VLM）的视觉编码与语言处理拆分为三层，使编码器服务器可独立横向扩展。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4545 SGLang 流水线并行（PP）实现：面向百万级 Token 上下文与超长序列推理
SGLang 推出高度优化的流水线并行（PP）实现，结合分块流水线并行、异步 P2P 通信与动态分块机制，专攻超长上下文推理。在 H20 集群上以 PP4 TP8 部署 DeepSeek-V3.1，分块预填充设为 12K 时预填充吞吐达 TP8 的 3.31 倍，比 TP32 方案高 30.5%，TTFT 最多降低 67.9%，强扩展效率 82.8%。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5252 Novita AI 分享 GLM4-MoE 生产部署优化：基于 SGLang 将 TTFT 最高降低 65%
Novita AI 发布基于 SGLang 部署 GLM4-MoE 模型的端到端推理优化方案，TTFT 最高降低 65%，agentic coding 负载下 TPOT 提升 22%，结果在 H200 集群 TP8、FP8 配置下验证。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3434 SGLang RL 团队实现 INT4 QAT 端到端流程：约 1TB 模型单张 H200 完成 rollout
SGLang RL 团队联合 InfiXAI、蚂蚁 Asystem & AQ Infra、slime、RadixArk 团队，在 slime 框架上落地了 INT4 QAT 端到端流程，训练用 fake quantization、推理用 W4A16，实现与 BF16 全精度相当的训练-推理一致性与稳定性。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4343 千问（Qwen）联合 AMD 在 MI300X 上优化 Qwen3 与 Qwen3-VL 推理延迟
千问 C 端基础设施工程团队与 AMD AI 框架团队基于 SGLang，在 AMD Instinct MI300X 系列 GPU 上对 Qwen3-235B 与 Qwen3-VL-235B 完成极致延迟优化。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4646 SGLang-Diffusion 如何为生产级视频生成做深度优化
SGLang-Diffusion 团队公布面向生产级视频生成的进阶优化，覆盖并行策略、VAE 与多请求服务稳定性。序列并行从帧级改为 token 级分片，在 8×H100 上把填充开销从 3 帧（14.3%）降到 0，all-to-all 通信量降至 0.875×。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4040 在 GB300 NVL72 上部署 DeepSeek：长上下文推理大幅提升
NVIDIA 与 SGLang 团队公布在 GB300 NVL72 上优化 DeepSeek R1-NVFP4 长上下文推理的进展，128K/8K 场景下 SGLang 达到 226.2 TPS/GPU，较 GB200 提升 1.53 倍。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4444 SGLang 集成 Elastic EP：为 DeepSeek MoE 部署实现部分故障容错
SGLang 框架集成 Elastic EP，通过解耦专家与 GPU 的固定映射实现部分故障容错，DeepSeek V3.2 在 32 GPU、256 冗余专家配置下服务中断控制在 10 秒内，较完整重启的 2-3 分钟减少 90%。该方案静态性能与标准 DeepEP 持平，系统吞吐 3560.21 tokens/sec，由 Mooncake EP 提供容错通信层支持。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4646 HiSparse：用分层内存为稀疏注意力提速，GLM-5.1-FP8 长上下文吞吐最高提升 5 倍
LMSYS 团队提出 HiSparse 分层内存系统，将不活跃的 KV cache 卸载到主机内存、在 GPU HBM 保留热缓冲区，缓解稀疏注意力的显存容量瓶颈。在 GLM-5.1-FP8 上，8×H200 部署下 256 并发请求吞吐达基线 3 倍以上，长上下文场景最高提升 5 倍。目前支持 DeepSeek-V3.2 与 GLM-5.1 等采用 DSA 的模型，属实验性功能。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4141 SGLang 推出基于 RDMA 的 P2P 权重更新机制，1T 参数 Kimi-K2 传输从 53 秒降至 7.2 秒
SGLang 为 RL 工作负载引入基于 RDMA 的 P2P 权重更新机制，作为传统 NCCL broadcast 的补充，兼容所有主流开源模型。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5454 AMD 与 SGLang 团队详解 MI355X 上 DeepSeek-R1 分离式推理如何做到 TCO 对标 B200
AMD 与 SGLang 团队联合发布博客，展示基于 SGLang 和 MoRI 通信库的 DeepSeek-R1 分离式推理在 AMD Instinct MI355X 上实现有竞争力的 TCO，结果由 SemiAnalysis 的 InferenceX 基准平台验证。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3636 Intel 与 SGLang 团队用 Dynamo 实现异构 CPU+GPU EPD 分离，加速 VLM 推理
Intel 与 SGLang 团队通过 Dynamo 和 SGLang 为视觉语言模型（VLM）实现异构 Encode-Prefill-Decode（EPD）分离，将视觉编码任务卸载到 CPU。在 Qwen3-VL-8B-Instruct 上，该方案在 QPS 1-2 负载下带来约 1.2x-1.3x 的 P99 TTFT 和请求吞吐提升，P99 TPOT 降低约 1.3x-30x。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3939 Miles 团队详解智能体 RL 中的 Token-In-Token-Out（TITO）原则
Miles 团队提出 Token-In-Token-Out（TITO）原则，要求智能体 RL 中每一轮的总 token 序列（prompt + response）必须是下一轮 prompt token 序列的逐位完美前缀，以保证训练与推理一致。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4848 SGLang-JAX 在 TPU v7x 上优化 Ling-2.6-1T：用单个 Pallas Kernel 把 MoE 数据搬运藏在计算背后
SGLang-JAX 现已支持在 TPU v7x 上高效服务 inclusionAI 的 Ling-2.6-1T，其新 Pallas kernel Fused MoE V2 将 MoE prefill 延迟从 5.16 ms 降至 2.42 ms，降幅 53%。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4444 SGLang 用 Waterfill 与 LPLB 改进 DeepEP MoE 负载均衡
SGLang 为 DeepEP MoE 推理引入 Waterfill 和 LPLB 两项调度期负载均衡特性。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5858 SGLang 团队探索智能体辅助开发：用 SKILL.md 与评测循环优化推理框架
SGLang 团队发布博客，介绍将开发流程编码为可执行 skills 的初步探索，覆盖 CUDA 崩溃调试、基准测试、profiling、扩散模型接入和生产事故分诊。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4848 SGLang 为 GLM-5.2 NVFP4 智能体负载提速：8xB300 上突破 500 TPS
SGLang 团队为 GLM-5.2 NVFP4 检查点优化推理，在 8xB300（bs=1）上实现超过 500 TPS，两周内完成。默认开启的 Spec V2 重叠调度带来 11% 端到端 TPS 提升，IndexShare MTP 让草稿步成本在长上下文下最多降低约 1.9 倍。
LMSYS：Blog（Chatbot Arena 团队）精选AI 评分7171 SGLang 与 Miles 为 Kimi K3 提供 Day-0 推理与 RL 训练支持
SGLang 团队与 Miles 宣布在发布当天支持 Moonshot AI 的 Kimi K3，覆盖 SGLang 推理和 Miles RL 训练。K3 是首个 3 万亿参数级的开源模型，2.8T 参数、1M token 上下文，采用 69 层 KDA 线性注意力加 24 层 MLA 的混合架构及 LatentMoE 和 Attention Residuals。
推荐理由：K3 的混合架构打破了多数推理框架的既有假设，文中给出的内存管理、投机解码与并行方案对同类服务栈有直接参考价值。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3232 SGLang 量化栈重构：分离 checkpoint 解析与硬件内核执行
SGLang 提出基于 Scheme 的量化架构重构（issue #15194），将量化路径拆分为 Quant Config、Linear/MoE Method、Scheme、Kernel 四层，使 checkpoint 格式与硬件后端可独立演进。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4242 Miles 实现 Blackwell 原生 MXFP8 与 NVFP4 强化学习方案
Miles 团队在 Miles 中实现了两种 Blackwell 原生 RL 方案：端到端 MXFP8，以及面向 MoE 专家的 per-token NVFP4，覆盖 checkpoint 转换、Megatron 训练、SGLang rollout 与实时权重更新。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4848 SGL-Diffusion 中 AR+DiT 全栈性能优化：用 SRT 替换 HF 后端并解耦 AR 与 DiT 并行策略
SGL-Diffusion 团队用 SRT 替换 HF 后端，将 AR 阶段从扩散 worker 中解耦为独立服务，使 AR 可单独配置 TP、DiT 保留 SP。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4646 SGLang 推出 Unified Radix Cache：用一棵基数树统一混合模型前缀缓存
SGLang 发布 Unified Radix Cache，用单一 token 基数树统一 full attention KV、滑动窗口 KV 与 Mamba 循环状态的复用边界，替代此前的缓存类矩阵。
LMSYS：Blog（Chatbot Arena 团队）AI 评分4141 SGLang 中的高级 CUDA Graph 技术：Breakable CUDA Graph 与 prefill 全图捕获
SGLang 团队详解其 CUDA Graph 重构，将支持拆分为 runner/backend 两层，使不同捕获策略可跨执行路径复用。
LMSYS：Blog（Chatbot Arena 团队）AI 评分5050 LMSYS 博客：DeepSeek-V4-Pro 在 H20 GPU 上的极限推理部署
LMSYS 博客给出 1.6 万亿参数 MoE 模型 DeepSeek-V4-Pro 在 H20 GPU 上的服务优化方案，单节点 H20-141GB 在 batch size 1 下达到 271 output tokens/s，与 B300 的 383.7 tokens/s 相比解码性能差距缩小至 1.42×。
LMSYS：Blog（Chatbot Arena 团队）AI 评分3737 Mooncake 如何为 Miles 加速 RL rollout 数据批量传输
Mooncake 社区发布博客，介绍 Mooncake 如何为大规模强化学习框架 Miles 解决 rollout 数据传输瓶颈。
LlamaIndex：产品、工程与评测AI 评分5858 LlamaIndex 解析 LLM OCR 为何错误更隐蔽而非更少
LlamaIndex 发文分析 LLM OCR（用大语言模型或视觉语言模型把文档图像转成文本和结构化数据）虽然降低了难文档的错误率，却把错误形态从可见的乱码变成流畅但静默的替换、遗漏和重复循环，传统按字符置信度和正则校验构建的 OCR 工具难以捕获。
LlamaIndex：产品、工程与评测AI 评分3232 智能 OCR：构建生产级文档理解系统
智能 OCR 将传统字符识别与机器学习、版面感知、语义抽取和校验逻辑结合，把文档转成结构化数据而非原始文本，并支持字段级置信度评分与规则校验。相比传统 OCR 输出扁平文本、遇到未见版式即失效，它可跨版面泛化、支持手写内容，并逐步演进到能自我验证、处理歧义的智能体文档工作流。
LlamaIndex：产品、工程与评测AI 评分5151 LlamaIndex 详解 OCR 自动化如何从文本提取走向生产级文档流水线
LlamaIndex 发文讲解 OCR 自动化与单纯文本提取的区别，指出生产准确性主要取决于解析前后的输入质量、置信度阈值校准和直通处理率，并给出 85-92% 到 90-95% 的直通率基准。
LlamaIndex：产品、工程与评测AI 评分4343 LlamaIndex 如何用 Temporal 扩展可靠的文档编排
LlamaIndex 用 Temporal 替换 RabbitMQ，支撑起每天数千万页文档的处理，并驱动其最新的 Batch API 发布。Temporal 作为持久化函数执行运行时，将业务逻辑组织为确定性的 Workflow 与 Activity，由 Worker 执行、服务端持久保存执行状态，失败可从断点重试。
LlamaIndex：产品、工程与评测AI 评分4545 LlamaIndex 探索静态嵌入检索：MaxSim 与卷积混合器的实验
LlamaIndex 尝试让静态嵌入模型实现 ColBERT 式 late-interaction 检索，发现直接用 MaxSim 打分在公开基准上反而输给池化（mean NDCG 0.418 vs 0.504）。
LlamaIndex：产品、工程与评测AI 评分3636 如何从 PDF 中提取表格：用 LlamaParse 大规模构建结构化、可验证的数据
LlamaParse 面向 PDF 表格提取，解决 PDF 只存字符坐标、不存行列结构的问题，需从空间布局推断行列关系。文章指出扁平文本提取、模板规则系统和单纯 OCR 都会在生产文档上失效，因为无边框表格、跨页表头、合并单元格、嵌套表格和扫描件会破坏简单假设。
LlamaIndex：产品、工程与评测AI 评分6363 LlamaIndex 详解 Just-in-Time Agentic OCR 两遍式文档处理模式
LlamaIndex 提出面向 10-100 份文档的临时数据室场景，采用两遍式处理，先用免费工具（如 LiteParse）快速提取文本并检索，再对相关页面用 VLM 做 just-in-time OCR。