跳到正文

#部署/工程

今日 50 条
9月27日周日
9月26日周六
  1. Peter Steinberger 🦞38

    我们把 OC 迁移到 sqlite 时犯的最大设计错误:使用了同步数据库访问。当它只是一个在 Slack 或 iMessage 上向你汇报的智能体时,这没问题;现在一个智能体可能并行跑 50 个会话,整个团队都在用它,这就成了限制。 我和 Astra 有一个 /goal,目前已提交 575 个 PR,把所有东西迁移到异步 worker。我们边推进边发布这些改进。相当疯狂的是,连巨大的重构都不再可怕了。

  2. ClaudeDevs65

    Claude Devs 分析了 Opus 5.5 相比 Opus 5 的价格变化:输入和输出 token 便宜 20%,cache reads 便宜 60%。文章测算了 Claude Code 中一个任务的实际成本,并上线了一个计算器,用户可通过 /usage 自行运行,地址为 https://claude.dev/blog/what-a-task-costs-on-opus-5-5/。

    推荐理由:作者给出 Opus 5.5 相对 Opus 5 的价格降幅,并提供成本计算器,读者可自行估算 Claude Code 任务成本变化。

  3. AWS Machine Learning Blog31

    在 Amazon EKS 上用 EFA 和 DeepEP 扩展 MoE 强化学习,吞吐量提升 40%

    AWS 提出在 Amazon EKS 上结合 EFA 与 DeepEP 扩展 MoE 模型强化学习训练的架构,吞吐量提升 40%。该方案针对 rollout 生成与策略训练并行的异步 RL 负载,用 DeepEP 优化专家并行(EP)在 EFA 上的 all-to-all 通信,缓解跨节点带宽瓶颈。适用于 RLHF、PPO 和 GRPO 等大规模 RL 训练流程。

  4. AWS Machine Learning Blog46

    NarrateAI 如何在 Amazon Bedrock 上实现生产级 LLM 质量保障

    NarrateAI 在 Amazon Bedrock 上通过五项技术实现约 99% 的数值准确率并实时流式返回结果,服务超过 4000 名 AWS 高管。这五项技术分别是自适应流水线编排、跨账户多模型故障转移、实时流式评估、复合评估框架和数据准确性验证,其中约 90% 的查询走单次快速路径,仅约 10% 的复杂查询进入并行批处理路径。

9月25日周五
  1. Databricks:Blog(RSS)47

    在 Databricks SQL 中运行开源决策模型 open-Jev

    Databricks 展示了如何在 SQL 中直接运行开源决策模型 SemIf-OpenJev,通过 ai_query 对受治理数据做结构化分类。该流程借助 AI Runtime 提供 Serverless GPU 算力,自动下载模型、用 Express Deployments 注册并创建 GPU Model Serving 端点,三步即可从 Notebook 到端点。

9月24日周四
  1. vLLM 官方博客(RSS)66

    vLLM 支持基于 Gumbel-max 的无损文本水印

    vLLM 现已支持基于 Gumbel-max 算法的无失真文本水印,通过 PRF 生成可复现的 keyed 噪声并把 PRNG、Gumbel 变换和 argmax 融合为单个 GPU kernel。

    推荐理由:作者亲自实现了 vLLM 的水印功能,给出了算法原理、吞吐实测数据和启用命令,读者可以据此评估在现有推理服务中采用的成本。

  2. Boris Cherny65

    Boris Cherny 介绍 claude.ai 和 Desktop 应用近几周明显变快的原因,团队发布了博文说明做法。@ClaudeDevs 的引用帖称 claude.ai 在两周内快了 3x,博文讲解如何用 Claude 测量、调试和改进性能,并附上提示词和方法,链接为 https://claude.dev/blog/how-we-made-claude-ai-faster/。作者表示博文中有不少对想给自家应用提速的工程师有用的经验与技巧。

    引用ClaudeDevs@ClaudeDevs

    We made claude​.ai 3x faster in two weeks. Here’s how we use Claude to measure, debug and improve performance. Prompts and methods included. https://claude.dev/blog/how-we-made-claude-ai-faster/

    推荐理由:Anthropic 团队分享了用 Claude 测量、调试并让 claude.ai 在两周内提速 3x 的具体方法,文中附带了可直接复用的提示词。

  3. GitHub Blog24

    GitHub Copilot 应用如何渲染超大 pull request

    GitHub Copilot 应用重建了 pull request 视图,用一个含 2200 个文件、超 100 万行改动和 400 多条行内评论的开源 PR 做压力测试。其做法是把文档高度拆成确定性的代码几何与动态评论块两套几何:代码行高提前精确计算,评论高度则按需测量、修正幅度小且锚定在用户当前查看位置,从而避免滚动跳动。

  4. eric zakariasson41

    智能体在工作前后喜欢大量读取以收集上下文,所以针对读取做优化会带来很大差别! 如果你在构建智能体,我强烈推荐读一读这个(或者把它交给你的智能体,让它去实现这些发现)

    引用Cursor@cursor_ai

    We've reduced token costs in Cursor by 7% with no drop in agent quality. Savings came from tighter prompts, selective tool loading, better caching, and compressed file reads.

  5. Microsoft Research 博客(RSS)62

    微软研究:把物理 AI 推理卸载出机器人可提升任务成功率与续航

    微软研究院对移动机器人操作负载做系统性测量,发现把物理 AI 推理从机载 GPU 卸载到边缘或云端 GPU 可提升任务表现与电池续航。

    推荐理由:微软对移动操作机器人推理负载的系统性测量,给出了卸载到边缘或云端 GPU 在任务成功率与续航上的量化差异。

  6. Google DeepMind:Blog(RSS)60

    Google DeepMind 为 Private AI Compute 引入安全服务端持久记忆

    Google DeepMind 公布 Private AI Compute 架构更新,将持久化的服务端记忆引入该平台,使 AI 助手能跨设备保留上下文。数据被密封在加密存储中,解锁密钥仅保存在用户个人设备上,模型访问时通过端到端加密通道连接云端安全隔离区,在隔离内存中临时解密、保存新上下文后立即重新加密。

    推荐理由:Google 公开了 Private AI Compute 的持久化服务端记忆方案,读者可了解云端记忆如何在设备持钥前提下实现。

9月23日周三
  1. Claude Code:GitHub Releases(RSS)65

    Claude Code v2.1.280 发布:新增 Claude Opus 5.5 默认模型

    Claude Code 发布 v2.1.280,新增 Claude Opus 5.5(claude-opus-5-5)并设为默认 Opus 模型,支持 1M 上下文,价格 $4/$20 per Mtok、缓存读取 $0.20/Mtok;Pro 和 Team Standard 计划默认模型也从 Sonnet 改为 Opus。

    推荐理由:原文列出该版本新增 Claude Opus 5.5 默认模型、MCP 描述长度可配置等改动,读者可对照修复清单决定是否升级。

9月22日周二