跳到正文
NVIDIA Blog· Kari Briski·· 4 小时前同新闻AI 评分75

NVIDIA 发布开源 Nemotron 3.5 Super VL 与 Bolt 系列模型

Open From Data Center to Desktop: NVIDIA Expands Nemotron Family With Highest Efficiency Super VL and Bolt Models

AI 导读

NVIDIA 发布开源 1200 亿参数的 Nemotron 3.5 Super VL,主打多模态智能体任务,称在同类中速度最高达 5 倍,参数量约为自家最大推理模型的五分之一。

同一新闻,精选展示《NVIDIA 发布开源模型 Nemotron 3.5 Super VL》

正文 · AI 翻译

译文尚不完整,完整内容请切换到原文。

NVIDIA 今日发布 Nemotron 3.5 Super VL,这是一款开放的 1200 亿参数模型,为专业化的常驻智能体带来最快的任务完成速度和最高的准确率。

同时加入的还有两款新的边缘模型:Nemotron 3.5 Bolt 74B-A9B 24GB,针对本地智能体工作负载优化,在每 GB 的智能与速度之间取得平衡;以及 Nemotron 3.5 Bolt E4B 4GB,针对每 GB 的智能优化,适用于快速对话式智能体。

Super VL 和 Bolt 74B-A9B 现已可用,Bolt E4B 将于 10 月 23 日推出。

这三款开放模型共同覆盖了智能体部署的全范围,从大型企业服务器一直延伸到边缘设备和本地硬件。 

任何希望在 NVIDIA 基础设施上运行智能体的组织,现在都能获得一款针对其层级优化的开放模型,无需在能力与可部署性之间做出取舍。 

Super VL 和 Bolt 与 Lightning 和 Ultra 一同加入 Nemotron 家族。 

8 月发布的 Lightning 负责高吞吐量工作负载;Ultra 处理最困难的推理任务;Bolt 则将智能带到边缘。 

Nemotron 3.5 Super VL:以五分之一规模实现前沿准确率

Super VL 与 Nemotron Coalition 合作构建,在多模态智能体任务——指令遵循、工具使用、多步骤业务工作流和视觉理解——上实现了领先的准确率,可与 NVIDIA 最大的推理模型相媲美,而参数数量约为其五分之一。

Nemotron 3.5 Super VL 在其同类中为高容量智能体工作流带来前沿级智能。

作为其同类中最快的开放智能体模型——比第二快的模型快 5 倍——它帮助企业智能体在跨越数天或数周的工作流中更快完成高容量任务。 

Nemotron 3.5 Super VL 在 Artificial Analysis Intelligence Index 排行榜上,相较同类其他模型实现最高 5 倍的吞吐量提升。

与闭源前沿模型不同,组织可以基于自己的数据对 Super VL 进行后训练,将其部署在自己的基础设施上,并监督自己所构建的内容。

Nemotron 3.5 Bolt:边缘上的智能体智能

Bolt 74B-A9B 24GB 旨在 NVIDIA RTX/DGX Spark 上本地运行日常智能体任务,采用原生 2 比特量化以适配 24GB 内存,并与其他应用程序一同运行。

相对于其他具有相似内存占用的模型,它在智能与速度之间提供了良好的平衡:足够聪明以完成大多数工作,又比最聪明的模型快得多。

借助 Bolt 74B-A9B 24GB,用户可以将项目交给流行的本地智能体框架——从研究网络到写作到调试代码——全程无需将这些工作负载发送到云端。它是 PinchBench 上同类排名第 1 的开放模型,也是 BrowseComp 上排名第 2 的开放模型。

Bolt E4B 4GB 专为 GeForce RTX、Jetson 和 RTX/DGX Spark 上的物理智能体和对话式智能体打造。它结合了自然对话与多轮智能体能力,为快速本地语音助手、交互式角色和嵌入式界面提供支持。 

定制超级智能的采用

来自各行各业的数十家组织正在基于自己的数据、工具、策略和工作流程对 Super VL 进行后训练,以提升其智能体部署所针对的专业任务的准确率。 

Super VL 正被各行各业的组织进行后训练和定制。Scale AI 为 Skydance 的供应商信贷金融智能体和 EY 的并购尽职调查智能体后训练了该模型。 AfterQuery 为 Hebbia 定制了该模型,用于信贷协议分析。AI21 和 Alice 针对网络安全攻击韧性后训练了该模型。 Mercor 在 APEX-SWE 编码基准上后训练了该模型,用于规划、编写和调试代码的编码智能体。ModelScope 让开发者能够通过其 ms-swift 框架微调该模型,以用于专门的多模态应用。

其他定制 Nemotron 3.5 Super VL 的组织包括 Ramp ,用于金融文档智能;Dream,用于主权 AI 驱动的网络安全研究与漏洞分析; Lila Sciences ,用于科学发现与搜索,以及 R1 ,用于医疗理赔分析和收入周期管理。 TrainLoop 使用来自 Nolla 的皮肤科数据后训练了该模型,Nolla 刚刚成为首家获批由 AI 撰写初始患者处方的公司。

集成 Nemotron 3.5 Super VL 的软件平台公司包括: 

  • Atlassian,用于诸如跨 Jira 和 Confluence 等应用的智能体搜索等任务。
  • CrowdStrike,正在为该模型定制,用于企业安全中的智能体蓝队演练。
  • Dassault Systèmes,为工程设计与仿真提供支持。 
  • Perplexity,用于 Perplexity Search 和 Computer 中的搜索与智能体任务。
  • Salesforce,正在定制 Nemotron,以通过 Missionforce Operations 在安全的客户环境中驱动 AI 智能体,实现复杂政府工作流程的数字化和自动化。
  • Synopsys 用于半导体设计验证的软件可与该模型互操作。

Nemotron 3.5 Super VL 实际看到的内容

Nemotron 3.5 Super VL 的 视觉语言 优势针对的是智能体在实践中遇到的内容:视觉文档中的光学字符识别、表格、图表和结构化信息。 

它处理网页、提取文本、读取图形和图表,并根据所发现的内容返回洞察。这同样适用于 PDF 和智能体常处理的其他文档。

Nemotron 3.5 Super VL 能够理解图像、网页和 PDF,并基于这种理解采取行动。将文本和视觉理解融合在一个模型中,意味着智能体无需在独立系统之间路由任务——当工作从文档推进到数据再到决策时,上下文得以贯穿始终。 

开放以实现最大程度的控制、安全与隐私

开放性与可定制性相辅相成。该模型随附开放权重、开放数据集和训练配方。

控制权是双向的。组织可以根据自身的安全和数据驻留要求,在任何地方运行该模型。他们还可以选择采用一个可自行调整的模型,而不是受提供商限制的模型。

例如,在保险领域,定制化的智能体可以反复扫描理赔数据以发现欺诈标记。在金融服务领域,智能体可以审查信用评分,并根据组织自身的放贷标准标记相关活动。模型留在本地。数据保持私密。

通过 NVIDIA NeMo、基于 Python 的流水线和开放数据集支持定制化。

Nemotron 3.5 Super VL was trained on about 26 trillion tokens across pretraining and continued pretraining, then post-trained with roughly 3.8 million samples and reinforcement learning across dozens of environments.

NVIDIA is also releasing open datasets on Hugging Face spanning agentic tool use, finance, instruction following, long context, fairness and vision-language understanding, along with the reinforcement learning environments in NeMo Gym.

NVIDIA NIM 将该模型打包为生产就绪的微服务,提供性能优化、经过验证的配置和企业级支持,每两周更新一次,包含安全补丁和性能改进。

借助在 NVIDIA Dynamo 上运行的模型,组织可以以低 85% 的延迟为多达 8 倍的用户提供服务。

Nemotron 3.5 Super VL is available now on Hugging Face, Open Router, ModelScope community and as NVIDIA NIM.

在 DGX Spark、DGX Station 和 RTX 上运行 

Nemotron 3.5 Super VL runs across NVIDIA’s full hardware stack: on DGX Spark, DGX Station,  RTX PRO and RTX systems for local intelligence at the desktop, on NVIDIA Jetson at the edge, and across data center and cloud environments.

Nemotron 3.5 Bolt 74B-A9B 24GB 现已在 Hugging Face 上提供,支持 llama.cpp、Ollama、LM Studio、Unsloth 和 vLLM。它为 10 月 16 日推出的 NVIDIA RTX Spark 笔记本电脑 而打造,也可在 GeForce RTX PC、DGX Spark、DGX Station 和 RTX PRO 工作站 上运行。

下载 开放权重,使用 NVIDIA NeMo 探索定制化资源,或阅读 技术博客 了解完整的架构解析。

Stay up to date on agents, NVIDIA Nemotron and more by subscribing to NVIDIA news, joining the community, and following NVIDIA AI on LinkedIn, Instagram, X and Facebook.

探索 自定进度视频教程和直播。

请参阅 通知,了解软件产品信息。

来源:NVIDIA Blog · blogs.nvidia.com