OpenAI 在 API 中发布 GPT-Realtime-2、GPT-Realtime-Translate 和 GPT-Realtime-Whisper 三款语音模型

在 API 中推出新模型，推进语音智能发展

新一代实时语音模型，能在人们说话时进行推理、翻译和转写。

加载中…

音频 1

分享

我们在 API 中推出三款音频模型，为开发者解锁一类全新的语音应用。借助这些模型，开发者可以打造更自然、响应更智能、并能实时采取行动的语音体验：

• GPT‑Realtime‑2，我们首个具备 GPT‑5 级推理能力的语音模型，能够处理更复杂的请求，并自然地推动对话进行。

• GPT‑Realtime‑Translate，一款全新的实时翻译模型，可将 70 多种输入语言的语音翻译成 13 种输出语言，同时跟上说话者的节奏。

• GPT‑Realtime‑Whisper，一款全新的流式语音转文本模型，可在说话者讲话时实时转写语音。

音频 2

试用 GPT-Realtime-2

启动会话，然后与 GPT-Realtime-2 自然交谈。

启动会话

我可以问什么？

启动会话后，试着说以下其中一句：

• 我今晚要临时办一场晚宴。我有 30 分钟，两位素食朋友，一位讨厌蘑菇的人，还有一间小厨房。帮我规划一份简单的菜单。
• 我正在日本的一场线下活动上迎接来宾。用日语说一段温暖、自然的欢迎词——就像主持人在开启一场特别活动。
• 我的订单号是 Orbit-742Q。请清晰地复述一遍，好让我确认无误。
• 帮我练习如何告诉团队我们达成了发布里程碑。先用平静的自信说一遍，再用更兴奋的语气说一遍。
• 我在为公路旅行规划知识问答。给我三道听起来简单得具有迷惑性的陷阱题，然后用一句话解释每道题的答案。

此演示有时间限制。使用即表示你同意 OpenAI 的条款，并确认知悉我们的隐私政策。

语音正成为人们使用软件最自然的方式之一。它让人们可以在开车时寻求帮助，在穿过机场时更改旅行计划，以自己偏好的语言获得支持，或无需停下来打字就能完成一项任务。

但打造有用的语音产品，不仅仅需要快速的轮流对话或听起来自然的嗓音。语音智能体需要理解某人的意图，跟踪上下文，在请求发生变化时恢复应对，在对话继续的同时使用工具，并以适合当下情境的方式作出回应。

我们此次发布的这些模型共同推动实时音频从简单的问答式交互，迈向真正能够干活的语音界面：在对话展开的过程中倾听、推理、翻译、转写并采取行动。

语音作为人与产品之间的界面

随着语音成为使用软件更自然的方式，我们看到开发者正围绕语音 AI 的三种新兴模式进行构建：

• **语音到行动（Voice-to-action），**人们可以描述自己的需求，系统能够对请求进行推理、使用工具并完成任务。例如，Zillow 正在构建一款助手，它可以倾听、推理并针对这样的请求采取行动：“在我的 BuyAbility 范围内找房，避开繁忙街道，并安排周六看房。”

• **系统到语音（Systems-to-voice），**软件可以将上下文转化为实时的语音指导。例如，一款旅行应用可以主动告诉旅客：“你的入境航班延误了，但你仍能赶上转机。我找到了新的登机口，规划了穿过航站楼的最快路线，你的行李预计仍会转运。”

• **语音到语音，**即 AI 可以帮助实时对话跨语言、跨任务或在不断变化的语境中持续进行。例如，Deutsche Telekom 正在构建语音支持体验，让客户可以用自己最习惯的语言说话，而模型则实时翻译对话。

这些模式也可以协同工作。Priceline 正在迈向一个未来：旅行者可以通过语音管理整个行程——以对话方式搜索航班和酒店，处理航班延误后调整酒店预订等变更，获取 TSA 等待时间的实时更新，并在旅行者抵达目的地后翻译对话。

实时语音：帮助语音模型推理并采取行动

GPT‑Realtime‑2 专为实时语音交互而构建，模型在推动对话持续进行的同时，对请求进行推理、调用工具、处理纠正或打断，并以适合当下情境的方式作出回应。

• 开场提示语：开发者可以在主要回复前启用简短短语，例如“让我查一下”或“请稍等，我看看”，让用户知道智能体正在处理请求。

• 并行工具调用与工具透明化：模型可以同时调用多个工具，并通过“正在查看你的日历”或“现在就去查一下”等短语让这些操作可被听到，帮助智能体在完成任务的同时保持响应。

• 更强的恢复行为：模型可以更从容地恢复，例如说“我现在遇到了一些问题”，而不是静默失败或中断对话。

• 为智能体工作流提供更长上下文：我们将上下文窗口从 32K 增加到 128K，以支持更长、更连贯的会话和更复杂的任务流程。

• 更强的领域理解：模型能更好地保留专业术语、专有名词、医疗术语以及其他在生产环境中重要的词汇。

• 更可控的语气和表达：模型可以更好地调整语气——在解决问题时平静说话，在用户沮丧时表达同理心，或在确认操作成功时语气积极。

• 可调整的推理强度：开发者现在可以选择 minimal、low、medium、high 和 xhigh 推理级别，其中 low 为默认值，在简单交互中平衡更低延迟，在复杂请求中提供更审慎的推理。

这些提升体现在与生产语音智能体高度对应的音频评估中：GPT‑Realtime‑2（high）在 Big Bench Audio 的音频智能得分上比 GPT‑Realtime‑1.5 高 15.2%。GPT‑Realtime‑2（xhigh）在 Audio MultiChallenge 的指令遵循得分上高 13.8%，优于 GPT‑Realtime‑1.5，并在实时对话中展现出更强的推理、上下文管理和控制能力。

Big Bench Audio⁠（在新窗口中打开）评估支持音频输入的语言模型中的高难度推理能力。Audio MultiChallenge⁠（在新窗口中打开）评估口语对话系统中的多轮对话智能，包括指令遵循、上下文整合、自我一致性以及处理自然语音纠正。

GPT‑Realtime‑2 的魔力体现在各种不同的用例中：

战略推理 语气与表现力 空间推理 字母数字 逻辑谜题

在早期测试中，企业使用 GPT‑Realtime‑2 构建语音代理，帮助客户和员工通过自然对话完成任务：

Zillow Glean Genspark Bluejay Intercom Priceline Foundation Health

实时翻译：构建实时多语言语音体验

GPT‑Realtime‑Translate 帮助开发者构建实时多语言语音体验，每个人都可以用自己偏好的语言说话，并实时听到对话的翻译，同时阅读实时转录。它支持超过 70 种输入语言和 13 种输出语言，适用于客户支持、跨境销售、教育、活动、媒体以及服务全球受众的创作者平台。

对于开发者而言，实时翻译需要在跟上说话者节奏的同时保留含义，即使人们自然说话、切换语境，或使用地区发音和领域特定语言。例如，Deutsche Telekom 正在测试该模型用于多语言语音交互，其中更低的延迟和更强的流畅度可以让跨语言对话感觉更自然。

在这段视频中，Vimeo 展示了 GPT‑Realtime‑Translate 如何在产品教育视频播放时实时翻译，让全球客户无需等待单独制作的版本，就能以自己偏好的语言听到更新。

BolnaAI Vimeo Deutsche Telekom

实时转录：构建低延迟转录体验

GPT‑Realtime‑Whisper 是一个新的流式转录模型，专为低延迟语音转文本而构建。它在人们说话时转录音频，因此实时产品可以感觉更快、更响应、更自然——从即时出现的字幕，到跟上对话的会议笔记。

该模型让实时语音在业务工作流中随说随用。团队可以为会议、课堂、广播和活动提供字幕；在对话仍在进行时生成笔记和摘要；构建需要持续理解用户的语音代理；并为客户支持、医疗、销售、招聘及其他高容量语音交互创建更快的后续工作流。

安全

Realtime API 包含多层保障和缓解措施，以帮助防止滥用。我们在 Realtime API 会话上使用主动分类器，这意味着如果检测到某些对话违反我们的有害内容准则，就可以将其停止。开发者还可以使用 Agents SDK⁠。⁠（在新窗口中打开） 轻松添加自己的额外安全护栏。

我们的 使用政策⁠⁠ 禁止将我们服务的输出重新用于或分发用于垃圾信息、欺骗或其他有害目的。开发者还必须向最终用户明确说明他们正在与 AI 交互，除非从上下文中已经显而易见。

Realtime API 完全支持面向欧盟应用的 EU Data Residency⁠⁠（在新窗口中打开），并受我们的 企业隐私承诺⁠⁠ 覆盖。

定价与可用性

GPT‑Realtime‑2、GPT‑Realtime‑Translate 和 GPT‑Realtime‑Whisper 可在 Realtime API 中使用。GPT‑Realtime‑2 定价为 $32 / 1M 音频输入 token（缓存输入 token 为 $0.40）和 $64 / 1M 音频输出 token。GPT‑Realtime‑Translate 定价为每分钟 $0.034。GPT‑Realtime‑Whisper 定价为每分钟 $0.017。

开始使用

你可以在 Playground⁠（在新窗口中打开） 中测试新的实时语音模型。

要开始构建，在 Codex 中打开此提示词⁠（在新窗口中打开），将 GPT‑Realtime‑2 添加到现有应用或创建新应用。如果你还没有 Codex，请先下载 Codex 应用⁠。

• 2026
• API 平台

作者

OpenAI