跳到正文

全部动态

今日 79 条
9月30日周三
  1. Baseten 工程博客(网页)21

    Baseten 推出 Embeddings 推理服务:支持任意嵌入模型与弹性扩缩容

    Baseten 上线 Embeddings 服务,可用任意嵌入模型快速处理数百万数据点,支持自定义 Docker 镜像、Truss 库和 Baseten Chains。该服务覆盖 BGE、Stella、SFR-Embedding、Nomic、NV-Embed、Voyage 等模型系列,面向语义搜索与推荐系统,提供五个 9 可用性、优化冷启动和弹性自动扩缩容,可缩容至零以节省成本。

  2. Baseten 工程博客(网页)18

    Baseten 图像生成推理服务:支持 FLUX.1 dev 与 SDXL Lightning

    Baseten 推出面向图像生成模型的推理服务,支持部署 FLUX.1 dev、SDXL Lightning 等开源模型及用户微调、自定义模型,兼容 ComfyUI 等框架。SDXL Lightning 可在 4 个 UNet 步内生成 1024x1024 图像,接近实时出图。平台提供弹性自动扩缩容、冷启动优化,并支持 SOC 2 Type II、HIPAA、GDPR 合规部署。

  3. Baseten 工程博客(网页)21

    Baseten 的前向部署工程师:从 POC 到规模化的嵌入式推理支持

    Baseten 推出前向部署工程师(forward deployed engineers)团队,以嵌入式工程方式帮客户架构系统、部署并优化模型。该团队提供跨云自动扩缩容与 99.99% 可用性保障,并针对不同模态应用推理栈优化,代码归客户所有。服务覆盖从 POC 到规模化的全过程,持续引入社区最新研究优化性能与成本。

  4. Baseten 工程博客(网页)35

    Baseten 推出 Hybrid 混合部署方案:VPC 自托管与 Baseten Cloud 无缝溢出

    Baseten 发布 Hybrid 混合部署方案,让模型推理在自有 VPC 内运行,并在流量高峰时无缝溢出到 Baseten Cloud。该方案支持多云端路由、区域锁定数据驻留与快速冷启动,可沿用现有云资源承诺以优化成本,并继承 Baseten Cloud 的 SOC 2 Type II、HIPAA 和 GDPR 合规能力。

  5. Baseten 工程博客(网页)23

    Baseten 推出自托管部署方案,支持在自有 VPC 内运行推理

    Baseten 推出 Self-hosted 部署方案,让企业在自有 VPC 内获得与托管服务一致的毫秒级低延迟和高吞吐推理,模型输入输出不会经过 Baseten 服务器。该方案支持数据驻留与区域锁定部署,可满足 GDPR、HIPAA 等合规要求,并允许使用自有硬件或现有云厂商 credits 与 commits 优化成本。

  6. Baseten 工程博客(网页)48

    Baseten 推出多云容量管理 MCM,覆盖 20+ 云与区域

    Baseten 为 20 多个云和区域构建了多云容量管理(MCM),支撑低延迟与 99.99% 可用性。MCM 通过 SLA 感知的自动扩缩容,把跨云 GPU 资源视为可互换,实现跨云动态路由与扩缩模型副本,以应对云故障和容量限制。该能力支持数据驻留与主权合规,可运行在 Baseten Cloud、自托管或混合模式中。

  7. Baseten 工程博客(网页)24

    Baseten 推出跨云自动扩缩容推理基础设施

    Baseten 发布面向推理优化的基础设施,支持多节点、多云、多区域部署,通过跨云自动扩缩容让模型在全球低延迟服务,并以跨云容量管理实现四个九可用性。其自动扩缩容器实时匹配流量与资源,冷启动优化可在数秒内拉起新副本,并提供自托管、云和混合三种部署方式。

  8. Baseten 工程博客(网页)18

    Baseten Inference Runtime:可配置的模型推理运行时

    Baseten 推出 Inference Runtime,将 TensorRT、SGLang、vLLM、TGI、TEI 等开源推理框架与自研优化整合进单一可配置运行时,宣称可在数分钟内完成配置。该运行时原生支持 Medusa、Eagle 等投机解码技术,并通过 KV cache 卸载与缓存感知路由、prefill 优先调度、TP 与 EP 混合并行等手段降低延迟。

  9. Augment Code 博客(网页)65

    Augment 发布 Prism 模型路由,按任务分流降低成本

    Augment Code 推出 Prism,一种模型路由选项,为每轮用户请求自动选择底层模型,称团队月发 1 万次请求可省约 2 万美元,成本最多降 30%,质量与所对标的前沿推理模型差异可忽略。

    推荐理由:官方给出多基准成本与质量数据及缓存感知路由方法,读者可据此评估模型路由能否降低自己的智能体开销。

  10. Augment Code 博客(网页)48

    Cosmos 让智能体跑通完整 SDLC,工程师的角色变成什么?

    Augment Code 的 Cosmos 平台让智能体串联代码审查与事故响应等环节,大型 PR 的人工审查时间从六七小时降到 45 分钟,周产出提升至三倍。事故响应中智能体已处理 81.3% 的告警,值班工程师每周合并的 PR 增加 44%,首次 RCA 时间从约 30 分钟降至 6 分钟。人类仍负责设计判断、风险把控与最终决策。

  11. Augment Code 博客(网页)52

    Augment Code 构建 Verifier 智能体自动验证 Agent 代码的端到端表现

    Augment Code 内部构建了 Verifier 智能体,在每个 PR 上自动部署变更到隔离环境、端到端验证并附带日志、API 响应和截图发回 PR 评论。该智能体运行在其 Cosmos 云智能体平台上,依靠仓库中可组合的 SKILL.md 技能库决定验证哪些界面,且只提交证据不做通过与否的结论;文中记录了一例 CI 全绿但实际 /chat-stream 路径未生效的真实发现。

  12. ARC Prize:官方博客46

    ARC Prize 推出每日 ARC-AGI 谜题

    ARC Prize 上线 Daily Puzzle,每天 UTC 12 点从 ARC-AGI 任务中选出一道作为当日谜题,Play 页面成为其主页,点击 Start 后开始计时并统计尝试次数。该功能无奖金,结果可分享至 X/Twitter、Discord 等平台,官方称这是 v1,后续将根据反馈加入教程等功能。

  13. Black Forest Labs:Blog(网页)57

    Black Forest Labs 发布 FLUX VTO 目录级规模虚拟试穿模型

    Black Forest Labs 发布 FLUX VTO 虚拟试穿模型,现已公开可用,并加入 FLUX MCP。单次生成低于 4 秒,可自托管实现亚秒级响应,最多可给同一模特叠加 4 件服装,并保留人物身份与服装的 logo、印花、缝线和配件细节。默认审核政策下不支持泳装和内衣,官方提示精确的身材与服装尺码功能仍在演进,输出适合作为视觉搭配参考。

  14. Anthropic:The Institute(旗舰研究长文 · 网页)45

    Anthropic 为 Claude 推出 Connectors 连接器目录,收录 872 个连接器

    Anthropic 为 Claude 上线 Connectors 连接器目录,共收录 872 个连接器,把用户已有的工具接入每一段 Claude 对话。目录中包含 Microsoft 的 Playwright MCP server,可让 Claude 操作网页、截图、填表和自动化测试,以及 Upstash 的 Context7 MCP server,用于拉取版本相关的文档与代码示例。

  15. Anthropic:The Institute(旗舰研究长文 · 网页)6

    Anthropic Claude 平台控制台登录页

    Anthropic 上线 Claude 平台控制台登录页,供开发者基于前沿 Claude 模型和托管智能体基础设施构建智能体与应用。页面提示继续操作即表示同意 Anthropic 商业条款、使用政策并确认隐私政策,面向使用 Claude API 的公司。

  16. Anthropic:The Institute(旗舰研究长文 · 网页)67

    Claude 正式登陆 Microsoft Foundry,可通过 Azure 账单计费并计入 MACC

    Claude 现已在 Microsoft Foundry 正式可用,企业可用现有 Azure 认证、计费与治理体系构建生产应用和企业智能体,用量计入 Azure 账单,符合条件的支出可计入 MACC。

    推荐理由:原文说明 Claude 在 Microsoft Foundry 正式可用后的计费、合规与部署方式,读者可据此评估接入 Azure 工作流的可行性。

  17. Anthropic:The Institute(旗舰研究长文 · 网页)65

    Anthropic 推出 Claude Marketplace 生态系统

    Anthropic 推出 Claude Marketplace 生态系统,提供超过 2000 个连接器和插件,可连接 Google Drive、Gmail、Microsoft 365、Notion、Slack、Atlassian 等应用。

    推荐理由:Anthropic 官方页面列出了生态的实际组成和开放入口,读者可以据此了解 Claude 周边的连接器、产品和合作资源。