xAI 发布 Grok Voice Transcribe 2.0 语音转文本模型

xAI 发布 Grok Voice Transcribe 2.0，官方称其为当前最准确的转录模型之一，准确率是 1.0 的两倍且价格不变，在 Artificial Analysis 排行榜 32 个流式模型中准确率第一。

Suno 宣布 9 月 3 日起实施下载限制并更新服务条款

Suno 宣布自 2026 年 9 月 3 日起实施新的下载限制并更新服务条款。Free 用户终身最多 7 次试用下载，Pro 每月 20 次，Premier 每月 60 次；使用 Suno Studio 的 Premier 订阅者不设下载上限，超出部分可付费购买。

Suno 宣布与 BMG 达成全球合作，共同开发首个与音乐行业协作的音乐模型

Suno 首席执行官 Mikey Shulman 宣布与大型音乐公司 BMG 达成全球合作，该合作属于即将推出的首个与音乐行业共同开发的音乐模型的一部分。双方将合作打造艺术家与粉丝连接的新体验，并为选择加入的艺术家和词曲作者提供新的经济机会；双方还计划在 Suno: In Session 和 Spark 两个独立艺术家支持项目上深化合作。

MiniMax Speech 2.8 发布：原生音效标签与 10 秒高保真克隆

MiniMax 发布语音模型 Speech 2.8，新增原生音效标签支持，可模拟 "um"、"uh" 等口语填充词及呼吸、停顿，并实现 10 秒样本的高保真声音克隆。该版本还重构处理引擎以消除背景噪声与合成失真，并率先修复普通话-日语跨语言场景中的口音串扰问题。Speech 2.8 现已上线。

ModelScope@ModelScope2022AI 评分5555

IndexTeam 在 ModelScope 发布 Index-Translate 多语言翻译模型家族，覆盖文本、语音、配音和长文档翻译。

ModelScope@ModelScope2022AI 评分4949

魔搭上线 Audio8 ASR Infinite，采用滚动 KV Cache 实现中英文无限时长转写，不累积漂移。480 ms 延迟下 AISHELL-1 CER 1.75、AISHELL-4 2.89，LibriSpeech test-clean/test-other WER 3.04/6.81。

用 vLLM-Omni 在 SageMaker AI 上构建实时语音应用（Part 1）

AWS 发布教程，演示如何用 vLLM-Omni DLC 在 Amazon SageMaker AI 上部署 Qwen3-TTS，通过 SageMaker 双向流式连接实现文本流入、24 kHz PCM 音频分块流出，并用 Gradio 应用验证。

NVIDIA AI@NVIDIAAIAI 评分4848

工程师之间的合作最棒了 🙌 恭喜 @AIatMeta 推出 Muse Realtime Avatar！我们与他们的团队合作，让模型更高效，这样虚拟形象在你与它对话时就能跟上节奏。

在 Amazon SageMaker AI 上部署 Qwen3-TTS-12Hz-1.7B-Base 实现实时语音克隆

AWS 博客演示如何通过 SageMaker JumpStart 将 Qwen3-TTS-12Hz-1.7B-Base 部署到实时推理端点，用几秒参考音频和转录文本克隆说话人音色，无需重训模型。

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

Google DeepMind 发布 Gemini 3.8 Live with Live Avatar，把近实时视频生成与语音对话模型结合，让对话 AI 具备动态视觉形象，支持精准唇形同步、自然表情和流畅轮次切换。

在 SageMaker AI 上用 WhisperX 实现带说话人标注的转录

AWS 发布 WhisperX Deep Learning Container（DLC），在 OpenAI Whisper 基础上加入 wav2vec2 强制对齐的逐词时间戳和说话人分离，可部署到 Amazon SageMaker AI 实时或异步端点，无需自建镜像。

Google 发布 Gemini 3.8 Live with Live Avatar，为对话 AI 带来实时视觉形象

Google 推出 Gemini 3.8 Live with Live Avatar，将低延迟流式视频与实时对话能力原生结合，让企业智能体在对话中"能听、能看、能说"，并具备精准唇形同步与自然表情。

Apple 提出半监督联邦 ASR 实用方案：在线伪标签与服务器更新稳定化

Apple 研究团队提出半监督联邦 ASR 训练方案，通过在线伪标签教师与服务器端标注数据锚定更新两条耦合设计轴缩小与全监督联邦学习的差距。该方案在 11 组对比中 9 组优于最强先前方法，域内平均提升 20.8%、跨域提升 10.0%。服务器必须在轮次间持续用标注数据训练，这一交错更新比种子模型更决定收敛，且稳定化需求取决于种子数据分散度及其与客户端数据的重叠程度。

Apple 如何通过潜空间蒸馏压缩流式神经音频编码器

Apple 提出一种潜空间蒸馏方法压缩流式神经音频编码器：不监督离散 token 或输出分布，而是让学生编码器回归教师模型每帧的量化前潜表示，并用单层仿射层吸收师生宽度差异。在 2.8× 压缩下，六组师生配对中有五组无需微调即保持在教师 1.9% 相对 WER 以内，并比同容量独立训练编码器相对提升 3.9%。该方案同时适用于单独预训练和与语言模型联合训练的 tokenizer。

Logan Kilpatrick@OfficialLoganKAI 评分6565

Logan Kilpatrick 宣布推出 Gemini 3.8 Flash 和 Flash-Lite TTS，称其为 SOTA 文本转语音模型。新模型提供新的声音设计体验、2000+ 生产可用声音、声音复刻，支持 100 种语言，声音混音功能即将推出，并在 Hume AI 的语音基准上排名第一。

Google DeepMind@GoogleDeepMindAI 评分5252

Google DeepMind 发布两款文本转语音模型。Gemini 3.8 Flash TTS 可设计具有独特口音和特征的音色；Gemini 3.8 Flash-Lite TTS 面向效率和规模，可选用自定义风格或其生产就绪音色库。

Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS

Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，前者面向角色设计与深度创作控制，后者面向高并发、低成本的配音与语音智能体场景。

蚂蚁 inclusionAI 开源 Realtime-Venus 9B 全双工音视频交互系统

蚂蚁 inclusionAI 发布 Realtime-Venus，一个支持主动音视频交互、异步委托和可打断全双工对话的开源系统，包含 Realtime-Venus-Omni 和 Realtime-Venus-Audio 两个 9B 检查点。

Logan Kilpatrick@OfficialLoganKAI 评分5757

Google 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking 两款实时语音模型，宣称达到 SOTA 并以前沿价格与性能提供。3.8 Live 支持 97 种语言并可无缝切换、支持异步工具调用；配图显示 Gemini 3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech to Speech Index 中得 82.6%，Gemini 3.8 Live 得 76.0%。

Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型

Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款实时对话模型，前者面向规模化与成本效率，后者面向高复杂度任务与多步推理。

Google DeepMind@GoogleDeepMindAI 评分5252

Google DeepMind 发布 Gemini 3.8 Live 和 3.8 Live Extended Thinking，称其为其最佳对话 AI。官方称模型可以在不打断用户的情况下说话、思考并在后台处理任务。配图显示 Artificial Analysis Speech to Speech Index 中 Gemini 3.8 Live Extended Thinking 得分 82.6%，Gemini 3.8 Live 得分 76.0%。

Apple 发布 Siri AI 与新一代 Apple Intelligence，随 iOS 27 等系统更新推出

Apple 发布新一代 Apple Intelligence 和全新 Siri AI，后者以英文 Beta 陆续推出，10 月将支持法语、日语、韩语、葡萄牙语和西班牙语。

X Square Robot@XSquareRobotAI 评分5050

自变量（X Square）发布 X2Streaming-TTS，可逐 token 消费文本并以严格零前瞻生成语音，无需等待完整句子。它通过因果承诺机制暂存歧义数字、单位与符号，并用语音状态继承跨片段保留音高与音色。单请求 TTFT 中位数 15.8 ms，64 并发下低于 120 ms，在 6/8 项流式评测中识别错误最低，数字与流式歧义测试 CER 为 0%。

OpenAI 在 API 中推出 GPT‑Live‑1 语音模型

OpenAI 在 API 中推出 GPT‑Live‑1，提供自然的全双工语音对话能力。模型具备更强的指令遵循、自定义语音和电话（telephony）支持。

Apple 发布 AirPods 5，开放式耳机的主动降噪提升

Apple 发布 AirPods 5，开放式耳机设计的主动降噪比 AirPods 4 主动降噪版多消除最多 50% 的外部噪声，并采用全新多孔声学架构和新一代 Adaptive EQ。新品搭配 Siri AI（随 iOS 27 测试版推出）支持免提个人情境问答、头部手势响应和 Live Translation，售价 129 美元，无线充电盒版 149 美元，9 月 18 日正式开售。

Sierra 发布企业级 AI 语音 Agent 指南

Sierra 发布面向企业的 AI 语音 Agent 指南，说明 Voice AI 与 AI 语音 Agent 的区别，以及语音 Agent 从听、理解、推理、执行到控制的完整工作流程。

Google DeepMind 发布 Gemini 3.5 Transcribe 语音转写模型

Google DeepMind 发布 Gemini 3.5 Transcribe，称其为目前最精确的语音转文字模型，可将原始音频直接转为整洁、带格式的文本。

Sierra 为 Agent 推出开箱即用的 IVR 电话导航能力

Sierra 宣布其平台上的 Agent 可开箱即用地导航复杂的 IVR 电话系统，官方评测中整体通过率从 57% 提升至 85%，增幅约 49%。该能力覆盖通话时机、多级菜单、DTMF 按键音、静默处理和识别真人，配合记忆与智能重试逐步提升成功率；已有医疗支付方、数字药房和收入周期管理公司在使用，文章还展望了 Agent 可信身份认证的长期方向。

NVIDIA 发布 Magpie Multilingual TTS 开放权重模型，支持 12 种语言

NVIDIA 发布 Magpie Multilingual TTS 开放权重模型（364M 参数），支持 12 种语言，新增现代标准阿拉伯语、韩语和巴西葡萄牙语，可在自有基础设施部署并微调。

Sierra 推出 Voice Personas：为 AI 智能体打造品牌专属语音人格

Sierra 发布 Voice Personas，让企业为同一个 AI 智能体配置不同语音人格，覆盖多语言、多品牌与多市场场景。该功能结合语音、个性与语言感知行为，并接入 Sierra Agent SDK，支持调整语速、应对打断及对话中切换语音或语言。Sierra 称某智能体搭配自然语音与人格后问题解决率提升近 50%，Voice Personas 现已上线。

Hugging Face 发布 Real World VoiceEQ 基准，测量语音 AI 的人类级表现质量

Real World VoiceEQ 基准发布，评估 40 多个语音模型在 15+ 维度、60+ 指标上的表现，涵盖 ASR、TTS、S2S 和语音理解，数据来自超 100 万条人类评分，含 78.5 万条 TTS 评分和 4.8 万条 STS 评分。

Hugging Face 与 Cerebras 用 Gemma 4 打造实时语音 AI 演示

Hugging Face 与 Cerebras 展示了一套开源、模块化的实时语音到语音流水线：Nvidia Parakeet 做语音识别，Google DeepMind 的 Gemma 4 31B 在 Cerebras 上推理，阿里 Qwen3TTS 合成语音回复。

vLLM-Omni 如何服务多阶段 Qwen3-Omni：经验与教训

vLLM-Omni 将 Qwen3-Omni 拆成 Thinker、Talker、Code2Wav 三阶段流水线，并通过 OpenAI 兼容的 /v1/chat/completions 提供文本与语音生成。

vLLM-Omni 中的 TTS 推理工程实践

vLLM-Omni 已支持 Qwen3-TTS、VoxCPM2、Fish Speech S2 Pro 和 Higgs Audio V3 等 TTS 系统，并针对各模型瓶颈采用不同优化策略。

Google DeepMind 发布 Gemini 3.5 Live Translate 实时语音翻译音频模型

Google DeepMind 发布音频模型 Gemini 3.5 Live Translate，支持 70+ 语言的近实时语音到语音翻译，自动检测语言并保留说话人的语调、节奏和音高，全程仅落后说话人数秒。

Together AI 如何打造全球最快的语音转文字技术栈

Together AI 通过 TensorRT 多 profile 编译、GPU 端条件分支和减少 CPU 拷贝，打造出全球最快的语音转文字技术栈。

Sierra 谈语音 AI 的转录难题：多供应商集成与上下文感知如何降低错误率

Sierra 构建了一套动态路由多家供应商的转录平台，通过并行查询多个转录模型并融合输出，内部基准显示可将话语错误率平均降低约 25%，在转录提升空间更大的语言中最高降低 37%。该平台还支持 70 多种语言，并将对话上下文注入转录过程，使金融服务智能体的输入验证率提升超 25%，整体解决率最高提升 1%、重大转录错误最多减少 15%。

Together AI 开源视频翻译工具 Violin，支持视频对话助手

Together AI 发布完全开源的视频翻译工具 Violin，基于 Together API 提供 Web 应用、CLI 和 Agent Skill 三种形态，代码以 MIT 协议开源。

Thinking Machines Lab 发布 TML-Interaction-Small 交互模型研究预览

Thinking Machines Lab 宣布 interaction models 研究预览，让模型原生处理实时音频、视频和文本交互，而非依赖外部 harness。

OpenAI 发布 gpt-realtime-2 语音模型提示词指南

OpenAI 发布 gpt-realtime-2 实时语音模型提示词指南，该模型是用于低延迟语音到语音应用的推理模型。上下文窗口从 32k 扩展到 128k tokens，指南建议从最小提示词起步按测试补指令、用低推理档位、用 preamble 管理等待体验，并在调用工具前逐位确认订单号、邮箱等高精度标识符。