Chips and Cheese 在 AMD Advancing AI 2026 采访 Alan Smith 谈 CDNA5 架构

Chips and Cheese 在 AMD Advancing AI 2026 活动上采访了 AMD 企业院士、数据中心 GPU 首席架构师 Alan Smith，谈新发布的 CDNA5 架构（用于 MI455 和 Helios）。

Ethan Mollick 的 AI 工具使用指南：该用哪个 AI 做事

Ethan Mollick 在其定期更新的 AI 使用指南中提出，用 AI 做事已从聊天转向 agent 系统，做正经工作首选 ChatGPT 或 Claude，每月 $20 起。

DaoCloud 团队用 24 块 NVIDIA B300 和 vLLM 生产级服务 GLM-5.2-NVFP4

DaoCloud 团队在 3 台 8 卡 B300 服务器（共 24 GPU）上以 4 Prefill + 1 Decode 分离拓扑部署 GLM-5.2-NVFP4，在 mean TTFT ≤ 2.5s、mean TPOT ≤ 20ms 的 SLA 下，将 16K 输入的 mean TPOT 从约 40ms 优化到约 17ms。

Sierra 工程师复盘内部 MCP Gateway 的构建经验

Sierra 工程师 Mihai Parparita 发布长文，复盘公司内部 MCP Gateway 的构建过程，该网关基于 Model Context Protocol 将 AI 智能体安全接入内部工具。

Andrej Karpathy@karpathyAI 评分6666

Andrej Karpathy 分享一个与 LLM 协作的实用模式：当模型需要更多信息而你懒得打字时，切换到 /voice 语音模式随意说约 10 分钟，内容可以完全不连贯。他有时会先声明是语音输入请忽略错字，有时改成几轮小型访谈。他发现 LLM 很擅长重建长篇不连贯的絮叨，回显出的思路往往比原本更清晰，从而改善与模型的理解契合、减少后续纠正。

Hugging Face 发布 AIFS-single-2.0 全 GPU 运行补丁与教程

Hugging Face 发布 AIFS-single-2.0 的补丁与教程，支持通过 Hugging Face jobs 或本地环境在各类 GPU 上运行该模型。仓库名为 huggingface/AIFS-single-2.0-on-all-GPUs，内容为运行补丁与操作教程。

Modem 详解编码智能体如何靠文本搜索读取代码，并给出可发现的写码方法

Modem 发布《Writing Code for Agents》系列第一篇，解释 Claude Code、Codex 等编码智能体主要靠 ripgrep 文本搜索导航代码库，并给出命名、类型、注释位置等可发现的写码建议。

Sebastian Raschka 解析大语言模型推理力度设置的实现原理

Sebastian Raschka 撰文讲解推理模型如何支持多档推理力度（reasoning effort）设置。

vLLM 官方解析其 CI、性能基准与发布流程如何保障生产质量

vLLM 团队介绍其如何在高合并节奏下保持发布稳定：2026 年 6 月共合并 1,918 个 commit（日均 64 个），CI 包含 37 个测试组、266 个任务，使用共享容器镜像和 pip-compile 锁定依赖，并依赖 58 个 runner 队列的异构硬件。

IBM Research：模型路由看似简单，实则是系统优化问题

IBM Research 分享在智能体系统中构建模型路由的经验，认为路由不应被当作分类问题而是系统优化问题。在 AppWorld Test Challenge 上用 CodeAct 智能体实测 417 个任务，Claude Sonnet 4.6 总成本 $79（$0.19/任务），反而低于单价更低的 GPT-4.1 的 $155（$0.37/任务），差异源于缓存命中。

在 AMD Instinct GPU 上用 vLLM 与 AMD Quark 训练和部署 EAGLE3 投机解码

vLLM 与 AMD Quark 团队展示了在 AMD Instinct MI355X GPU 上训练和部署 EAGLE3 投机解码的完整流程，覆盖 Kimi-K2.5 与 MiniMax-M2.5，并用 InferenceX 做基准测试。

Hugging Face 发布 Profiling in PyTorch 系列第三篇：用 profiler 对比各注意力实现

Hugging Face 发布 Profiling in PyTorch 系列第三篇，用 profiler trace 对比手写注意力、in-place 掩码、SDPA math/efficient/flash/cuDNN 各后端的 kernel 表现。

PRX Part 4：我们的数据策略

PRX 系列第 4 篇披露其数据策略：预训练数据由公开与内部数据集混合而成，用 VLM 重新生成图像长描述，再转为可流式读取的语料。团队改用 Qwen3-VL 在训练中实时计算文本 latent，实测吞吐仅损失约 3–4%（30 天训练多约 1 天），并采用 Lance 构建、MDS 流式的双格式流程，图像统一以 JPEG quality 92 编码。

Lilian Weng 长文解析 Harness Engineering 如何支撑递归自我改进（RSI）

Lilian Weng 在 Lil'Log 发表长文，梳理 harness 工程研究如何服务于递归自我改进（RSI）。

vLLM-Omni 如何服务多阶段 Qwen3-Omni：经验与教训

vLLM-Omni 将 Qwen3-Omni 拆成 Thinker、Talker、Code2Wav 三阶段流水线，并通过 OpenAI 兼容的 /v1/chat/completions 提供文本与语音生成。

Sebastian Raschka 教程：用 Ollama 与开源模型搭建本地编码智能体

Sebastian Raschka 发布长篇教程，讲解如何用 Ollama 服务 Qwen3.6 35B-A3B 等开源权重模型，并接入 Qwen Code、Codex、Claude Code 三种编码 agent harness，评测代码在 https://github.com/rasbt/local-coding-agent-evals。

Google 用冻结 Multi-Token Prediction 加速 Pixel 上的 Gemini Nano 模型

Google 宣布将 Multi-Token Prediction（MTP）改造性地部署到已冻结的 Gemini Nano v3 模型上，并已向 Pixel 9 和 10 系列推送。

Lilian Weng@lilianwengAI 评分4646

一篇拖了很久（3 年多？）的缩放定律文章。 算力很贵。缩放定律帮我们在投入大规模训练之前，推理数据与模型规模之间的最优算力分配。 文章涵盖：缩放定律预测了什么、算力最优分配如何运作、Kaplan et al. 与 Chinchilla 为何结论不一致，以及数据限制 + 拟合细节如何让外推变得棘手。 https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

Lilian Weng 详解 Scaling Laws：从早期损失可预测性到算力最优分配

Lilian Weng 撰文梳理 Scaling Laws 的经验基础，指出训练损失 L 随模型规模 N、数据量 D 和算力 C 按幂律下降，在对数坐标上呈直线，核心是在 N 与 D 之间最优分配算力，常用近似为 C ≈ 6ND。

vLLM-Omni 中的 TTS 推理工程实践

vLLM-Omni 已支持 Qwen3-TTS、VoxCPM2、Fish Speech S2 Pro 和 Higgs Audio V3 等 TTS 系统，并针对各模型瓶颈采用不同优化策略。

vLLM 与 DeepLearning.AI 推出免费课程《Fast & Efficient LLM Inference with vLLM》

vLLM 联合 Red Hat 和 Andrew Ng 的 DeepLearning.AI 推出课程《Fast & Efficient LLM Inference with vLLM》，现已免费上线，时长约 1.5 小时，含 9 节视频和 3 个 JupyterLab 动手实验。

vLLM-Omni 集成 Intel AutoRound 量化：W4A16 加速多模态推理

Intel 的 AutoRound 训练后量化算法已完整集成进 vLLM-Omni，支持 W4A16 量化并实现"一次量化、直接部署"流程。Qwen3-Omni-30B-A3B 的 checkpoint 从 66 GB 降至 25 GB，体积减少最多 62%，其 W4A16 版本在 OmniBench 上得分略优于 BF16 参考，文生图质量漂移仅约 1.3%。

Together AI 解析 MiniMax M3 高效推理：1M 上下文与多模态的工程优化

Together AI 详细解析其为 MiniMax M3 做的生产级推理优化，M3 支持 1M token 上下文窗口、原生多模态和 MiniMax Sparse Attention（MSA）架构，MSA 使 prefill 提速超过 9x、decode 提速超过 15x。

Fuli Luo@_LuoFuliAI 评分4747

小米 MiMo-V2.5 与 MiMo-V2.5-Pro 基于 Hybrid SWA 架构，将 KVCache 存储压缩至 Full Attention 的约 1/7。

Together AI 如何打造全球最快的语音转文字技术栈

Together AI 通过 TensorRT 多 profile 编译、GPU 端条件分支和减少 CPU 拷贝，打造出全球最快的语音转文字技术栈。

Dwarkesh 与 MatX CEO Reiner Pope 对谈：从逻辑门到 GPU 和 TPU 的芯片设计原理

Dwarkesh Patel 发布与 MatX CEO Reiner Pope 的黑板讲座，从逻辑门出发逐层讲解 AI 芯片如何工作，直至解释 GPU、TPU、FPGA 和人脑各自的设计形态。

Sierra 谈语音 AI 的转录难题：多供应商集成与上下文感知如何降低错误率

Sierra 构建了一套动态路由多家供应商的转录平台，通过并行查询多个转录模型并融合输出，内部基准显示可将话语错误率平均降低约 25%，在转录提升空间更大的语言中最高降低 37%。该平台还支持 70 多种语言，并将对话上下文注入转录过程，使金融服务智能体的输入验证率提升超 25%，整体解决率最高提升 1%、重大转录错误最多减少 15%。

Sebastian Raschka 解读近期 LLM 架构进展：Gemma 4 的 KV 共享、mHC 与压缩注意力

Sebastian Raschka 梳理 2026 年 4 至 5 月主要开源权重 LLM 的架构变化，核心主题是长上下文效率。

Andrej Karpathy@karpathyAI 评分6565

Andrej Karpathy 分享技巧：在查询末尾要求 LLM "structure your response as HTML"，再用浏览器查看生成的文件，也可要求输出为幻灯片。他进一步提出，音频是人类偏好的输入而视觉是 AI 偏好的输出，输出形式将从文本、markdown 演进到 HTML，最终可能是扩散神经网络直接生成的交互式视频；输入端还缺少指向屏幕等交互方式。

Together AI 解析 DeepSeek-V4 服务化：百万 token 上下文为何是推理系统工程问题

Together AI 发文解析 DeepSeek-V4 的服务化挑战，认为其核心变化是在 token 轴压缩 KV cache 的混合注意力设计（CSA、HCA、SWA），使模型支持 1M token 上下文窗口。

用 Goose 与 Together 专用容器技能部署 HuggingFace 任意模型

开发者用 CLI 智能体 Goose 配合 Together 的 dedicated containers 技能，仅凭一句提示词就为 Netflix 新发布的 void-model 生成了可在 Together Dedicated Container Inference（DCI）上运行的完整容器配置，把从模型发布到实际部署的滞后压缩到近乎为零。

Sierra 谈上下文工程：打造优秀 AI 智能体的关键

Sierra 提出"上下文工程"是构建复杂 AI 智能体的核心，通过渐进式披露只向模型提供当下最相关的信息，避免上下文窗口内无关 token 稀释注意力。

OpenAI 发布 gpt-realtime-2 语音模型提示词指南

OpenAI 发布 gpt-realtime-2 实时语音模型提示词指南，该模型是用于低延迟语音到语音应用的推理模型。上下文窗口从 32k 扩展到 128k tokens，指南建议从最小提示词起步按测试补指令、用低推理档位、用 preamble 管理等待体验，并在调用工具前逐位确认订单号、邮箱等高精度标识符。

Sierra 重塑工程面试流程，用 AI-native onsite 替代编码与算法面试

Sierra 宣布重构工程面试流程，取消了编码和算法面试，改用由 Plan、Build、Review 三环节组成的 AI-native onsite，候选人可在 2 小时内自选 AI 工具完成搭建。公司还把电话初筛换成系统设计面试，并试点考察 1 到 N 迭代能力的 debugging 面试。作者称新流程信号更丰富、体验更好，不过开放式格式难以标准化，需配套评估标准和双人面试来校准。

面向 AI 原生团队的多租户 GPU 集群设计指南：如何做到容量共享而不冲突

面向 AI 原生团队的多租户 GPU 集群设计需同时满足池化容量、租户隔离与自助访问三项要求，避免为每个团队单独建集群导致 GPU 夜间和周末闲置。架构上采用共享层加租户层的两层模式，共享层由集中控制面管理高性能存储与 InfiniBand/Ethernet 网络，租户层为每个团队提供专属 GPU 节点、存储 PVC 及自选编排层（Kubernetes、Slurm 等）。

Sebastian Raschka 分享理解 LLM 架构的工作流

Sebastian Raschka 撰文介绍自己为文章和 LLM-Gallery 绘制 LLM 架构图的工作流。他从官方技术报告入手，但指出如今论文尤其工业界开放权重模型的论文细节变少，因此通常直接查看 Hugging Face Model Hub 上的 config 文件和 transformers 库参考实现来获取架构细节。

OpenAI API 部署检查清单：GPT-6 模型选型与 Responses API 调优指南

OpenAI 发布 API 部署检查清单，指导开发者基于 Responses API 和 GPT-6 模型族（gpt-6-astra、gpt-6.1-sol、gpt-6-luna）配置生产工作负载。

Sebastian Raschka 解析编码智能体的六大组成组件

Sebastian Raschka 发文讲解编码智能体与 coding harness 的整体设计，提出六大组件：实时仓库上下文、提示词结构与缓存复用、结构化工具与权限校验、控制上下文膨胀、结构化会话记忆、带边界的子智能体委派。

Steve Yegge 分享 Vibe Maintainer 工作流：用 AI 管理 AI 生成的 PR 洪流

Steve Yegge 撰文分享他作为 Beads（20k stars）和 Gas Town（13k stars）维护者、每天接收约 50 个社区 PR（99% 为 AI 生成）的 vibe maintainer 工作流。

Sebastian Raschka 图解现代 LLM 注意力机制变体并发布 45 项架构画廊

Sebastian Raschka 发布 LLM 架构画廊（含 45 个条目和可视化模型卡），并撰文图解现代开源权重模型中的注意力变体。