跳到正文

#部署/工程

今日 8 条
9月30日周三
  1. Cursor Blog63

    Cursor 推出构建,云端智能体启动速度最快提升至 3 倍

    Cursor 推出构建功能,在后台预先准备可直接使用的开发环境副本,智能体启动即可运行,无需额外费用。默认每小时创建一次新构建,环境损坏时智能体沿用上一次成功构建;Cursor 内部环境启动速度提升 10 倍、首个 token 生成速度提升 3 倍。8 月 17 日起所有新建和现有环境将默认启用构建。

    推荐理由:官方原文给出启动速度倍数、构建频率和失败回退机制,读者可据此评估其对云端智能体工作流的影响。

  2. Claude:Blog(网页)60

    Claude Code 推出 Artifacts:把会话工作变成可共享的实时网页

    Claude Code 推出 Artifacts,可基于会话完整上下文(代码库、连接器、对话)生成实时可共享的网页,如 PR 讲解、事故页、仪表盘和发布清单,页面随会话进展原地刷新,每次发布为新版本并支持历史回滚。

    推荐理由:官方说明了 Artifacts 的构建方式、版本共享机制和权限策略,读者可以判断它能否替换团队现有的状态同步流程。

  3. Cognition 模型 / Devin 博客(网页)65

    Cognition 发布 SWE-grep 和 SWE-grep-mini,用 RL 训练快速并行上下文检索模型

    Cognition 训练了 SWE-grep 和 SWE-grep-mini 两个快速智能体模型,专攻高度并行的上下文检索,检索能力匹敌前沿编码模型,耗时低一个数量级。

    推荐理由:官方公布了模型设计、RL 训练细节和评测数字,读者可以借此了解并行上下文检索的实现路径。

  4. Baseten 工程博客(网页)15

    Baseten 招聘:打造 AI 推理云

    Baseten 正在招聘跨学科团队,构建其所谓的“推理云”(Inference Cloud),认为 AI 的未来是数百万个专用模型嵌入各类产品,而推理决定性能、可靠性、延迟与经济性。Abridge、Cursor、Lovable、Notion、OpenEvidence 等公司已依赖 Baseten 支撑生产环境的 AI 工作负载。

  5. Baseten 工程博客(网页)26

    Baseten 推出 AI 初创企业计划,提供最高 2.5 万美元推理额度

    Baseten 面向 AI 初创公司推出 Startup Program,提供最高 25,000 美元 Dedicated Inference 或 Training 额度,以及最高 2,500 美元 Model APIs 额度。申请者须为 AI 为核心业务的种子轮到 A 轮公司、成立不满 5 年,且此前未获得过 Baseten 额度。入选者还可获得数小时响应支持、跨云自动扩缩容与 GTM 支持。

  6. Baseten 工程博客(网页)13

    Baseten 如何为生产级 AI 推理做全栈工程优化

    Baseten 为生产级 AI 推理提供全栈工程能力,覆盖模型开发、服务、编排、可观测性与底层优化,目标是在真实流量下兼顾吞吐、延迟与可靠性。其基础设施支持跨云跨区域 99.99% 可用性,并通过内核、量化、批处理、路由与硬件选型等逐层调优,按模型与流量定制配置而非套用通用预设。公司 2019 年由工程师创立,以前向部署工程师(FDE)与客户在真实流量下共同调优,从原型一路做到生产规模。

  7. Baseten 工程博客(网页)21

    Baseten 推出 Embeddings 推理服务:支持任意嵌入模型与弹性扩缩容

    Baseten 上线 Embeddings 服务,可用任意嵌入模型快速处理数百万数据点,支持自定义 Docker 镜像、Truss 库和 Baseten Chains。该服务覆盖 BGE、Stella、SFR-Embedding、Nomic、NV-Embed、Voyage 等模型系列,面向语义搜索与推荐系统,提供五个 9 可用性、优化冷启动和弹性自动扩缩容,可缩容至零以节省成本。

  8. Baseten 工程博客(网页)13

    Baseten 解读 Compound AI:用多模型组合替代单体大模型

    Baseten 工程博客提出 Compound AI 系统,主张用多个专用模型组合替代庞大的全能单体模型,以获得更快、更便宜的推理。该系统让模型之间直接互相调用,减少网络开销、额外延迟和出网成本,并让每个步骤独立使用自动扩缩容的 GPU。文中列举的典型场景包括 AI 电话呼叫、AI 智能体和 RAG 流水线。

  9. Baseten 工程博客(网页)18

    Baseten 图像生成推理服务:支持 FLUX.1 dev 与 SDXL Lightning

    Baseten 推出面向图像生成模型的推理服务,支持部署 FLUX.1 dev、SDXL Lightning 等开源模型及用户微调、自定义模型,兼容 ComfyUI 等框架。SDXL Lightning 可在 4 个 UNet 步内生成 1024x1024 图像,接近实时出图。平台提供弹性自动扩缩容、冷启动优化,并支持 SOC 2 Type II、HIPAA、GDPR 合规部署。

  10. Baseten 工程博客(网页)21

    Baseten 的前向部署工程师:从 POC 到规模化的嵌入式推理支持

    Baseten 推出前向部署工程师(forward deployed engineers)团队,以嵌入式工程方式帮客户架构系统、部署并优化模型。该团队提供跨云自动扩缩容与 99.99% 可用性保障,并针对不同模态应用推理栈优化,代码归客户所有。服务覆盖从 POC 到规模化的全过程,持续引入社区最新研究优化性能与成本。

  11. Baseten 工程博客(网页)35

    Baseten 推出 Hybrid 混合部署方案:VPC 自托管与 Baseten Cloud 无缝溢出

    Baseten 发布 Hybrid 混合部署方案,让模型推理在自有 VPC 内运行,并在流量高峰时无缝溢出到 Baseten Cloud。该方案支持多云端路由、区域锁定数据驻留与快速冷启动,可沿用现有云资源承诺以优化成本,并继承 Baseten Cloud 的 SOC 2 Type II、HIPAA 和 GDPR 合规能力。

  12. Baseten 工程博客(网页)23

    Baseten 推出自托管部署方案,支持在自有 VPC 内运行推理

    Baseten 推出 Self-hosted 部署方案,让企业在自有 VPC 内获得与托管服务一致的毫秒级低延迟和高吞吐推理,模型输入输出不会经过 Baseten 服务器。该方案支持数据驻留与区域锁定部署,可满足 GDPR、HIPAA 等合规要求,并允许使用自有硬件或现有云厂商 credits 与 commits 优化成本。

  13. Baseten 工程博客(网页)48

    Baseten 推出多云容量管理 MCM,覆盖 20+ 云与区域

    Baseten 为 20 多个云和区域构建了多云容量管理(MCM),支撑低延迟与 99.99% 可用性。MCM 通过 SLA 感知的自动扩缩容,把跨云 GPU 资源视为可互换,实现跨云动态路由与扩缩模型副本,以应对云故障和容量限制。该能力支持数据驻留与主权合规,可运行在 Baseten Cloud、自托管或混合模式中。

  14. Baseten 工程博客(网页)24

    Baseten 推出跨云自动扩缩容推理基础设施

    Baseten 发布面向推理优化的基础设施,支持多节点、多云、多区域部署,通过跨云自动扩缩容让模型在全球低延迟服务,并以跨云容量管理实现四个九可用性。其自动扩缩容器实时匹配流量与资源,冷启动优化可在数秒内拉起新副本,并提供自托管、云和混合三种部署方式。

  15. Baseten 工程博客(网页)18

    Baseten Inference Runtime:可配置的模型推理运行时

    Baseten 推出 Inference Runtime,将 TensorRT、SGLang、vLLM、TGI、TEI 等开源推理框架与自研优化整合进单一可配置运行时,宣称可在数分钟内完成配置。该运行时原生支持 Medusa、Eagle 等投机解码技术,并通过 KV cache 卸载与缓存感知路由、prefill 优先调度、TP 与 EP 混合并行等手段降低延迟。

  16. Augment Code 博客(网页)52

    Augment Code 构建 Verifier 智能体自动验证 Agent 代码的端到端表现

    Augment Code 内部构建了 Verifier 智能体,在每个 PR 上自动部署变更到隔离环境、端到端验证并附带日志、API 响应和截图发回 PR 评论。该智能体运行在其 Cosmos 云智能体平台上,依靠仓库中可组合的 SKILL.md 技能库决定验证哪些界面,且只提交证据不做通过与否的结论;文中记录了一例 CI 全绿但实际 /chat-stream 路径未生效的真实发现。

  17. Anthropic:The Institute(旗舰研究长文 · 网页)67

    Claude 正式登陆 Microsoft Foundry,可通过 Azure 账单计费并计入 MACC

    Claude 现已在 Microsoft Foundry 正式可用,企业可用现有 Azure 认证、计费与治理体系构建生产应用和企业智能体,用量计入 Azure 账单,符合条件的支出可计入 MACC。

    推荐理由:原文说明 Claude 在 Microsoft Foundry 正式可用后的计费、合规与部署方式,读者可据此评估接入 Azure 工作流的可行性。