一句话总结:Qwen一次性发了五款语音模型,从听写、说话、聊天到做整段音频全包,ASR降价达95%。你可以把它理解成,以前语音AI是分开请的速记员、配音员和接线员,现在来了一个整建制的音频团队,还附赠降价大促。
今天的主角是 Qwen-Audio-3.1 系列,ASR、TTS、TTS-Next、Realtime 四款 API 已上架千问 AI 平台,ASR-Next 即将上线。说真的,一次发五个还全线降价,这架势不像常规升级,更像要把语音这条赛道重新定价。
先说结论:理解、生成、交互、创作,一套音频能力栈
先把全家福摆出来,你就知道这次为什么值得看。
五款模型分工明确:ASR 管听写,TTS 管说话,Realtime 管实时聊天,TTS-Next 管音频创作,ASR-Next 管泛音频理解。从"语音里的文字"到"完整的声音信息",再到"人声加音效一次生成",覆盖了理解、生成、交互、创作全链路。
全线降价是第二颗炸弹:TTS 降价约 70%,Realtime 降幅约 85%,ASR 降幅达 95%。语音调用量一向大,价格砍到这个幅度,说白了就是逼你把以前舍不得上的语音功能全打开。
两款 Next 模型代表方向:TTS-Next 从单人声合成扩展为通用音频生成,ASR-Next 从转写文字扩展为理解情绪与场景。一个往创作走,一个往理解走,语音不再只是输入输出的管道。
ASR:方言能听懂,转写稿自带润色
语音识别最烦的是什么?你想啊,开完一小时会,拿到的转写稿满是"嗯、啊、那个",还得自己重听整理。
Qwen-Audio-3.1-ASR 这次主打的就是原生转写润色:自动去掉语气词和重复表达,自我纠正加语义重组。拿到的不再是逐字流水账,而是有逻辑、能直接用的文字。你可以把它想成一个速记员,记完还顺手帮你把稿子顺了一遍。
方言是第二块硬骨头。一套模型支持 30 种语言和 16 种中文方言,分角色转写端到端输出说话人标签、时间戳和文本。短插话、重叠语音、轮流发言都能保留"谁在什么时候说了什么",开会、访谈、做对话分析直接有结构化记录。
数字也得摆出来。开源方言测试平均字错率 4.55%,11 个子集中 6 个拿最优;内部 16 种方言测试平均字错率 10.38%,11 个子集最优,温州话这类难方言提升明显。方言翻译成普通话的语义句准率平均 82.10%,11 个子集中 10 个最优。再配上首字响应约 160 毫秒的流式识别,边说边出字,实时会议基本够用。
ASR-Next:从转文字,到听懂情绪和房间里的声音
如果说 ASR 是把话听清楚,ASR-Next 想干的是把整个房间听明白。
举个例子,一段音频里有人说话、有背景音乐、有环境声,普通 ASR 只给你对话文本。ASR-Next 还能描述有哪些声音、事件何时发生,并回答跟整段内容有关的问题。人物情绪、环境声、机械声都进来了,处理对象从"语音中的文字"变成了"完整的音频信息"。
分角色能力也拉开了差距。在四个测试集八项指标里,ASR-Next 版拿下五项最优,常规 Flash 版拿下三项,全面优于此前的 Fun-ASR 级联系统。说人话就是,以前靠拼接两套系统凑出来的"谁说了啥",现在一个端到端模型全包还更准。
这个变化挺值得琢磨的:语音理解开始从听写工具,变成能做声音描述、事件定位、音频问答与推理的分析师。
TTS:同一个音色,普通话广东话英语日语无缝切换
配音这事,难的不只是好听,而是同一个人讲几种语言还得是同一个人。
Qwen-Audio-3.1-TTS 给的答案是同一音色跨语言自然迁移,一套模型支持多语种及方言合成。官方演示里,同一个音色讲普通话、广东话、河南话、英语、日语,文本都是"欢迎来到云栖大会,很高兴在这里见到你"。你想啊,做个出海视频,不用换人、不用重录,一个声音全球通用。
表达方式是另一处升级。通过指令控制情绪、语速和表达方式,同一句"你终于来了,我一直在等你",开心和伤心是两种讲法。相比只管字音读对的老做法,这次更强调声音贴合内容和场景。
说真的,这事对做播客、有声书、短剧出海的人最实在:音色不串、情绪有着落,少返工就是省钱。
TTS-Next:一次生成对白、音效和背景声的完整音频
这是全场最离谱的一个。
以前做一段完整音频,得主播、音效师、混音师、剪辑师分工:对白、音效、背景声分开做,再剪到一起。TTS-Next 围绕文本、时间戳和参考音频统一生成人声、音效和环境音,一次交出完整内容。一段播客的多位对话加背景音,一段影视音频的台词加环境声加配乐,一个模型全包。
三件事决定了它像不像专业活。多人音色复刻加多轮对话生成,各角色音色稳定不串角,停顿、接话、附和、情绪转折自然带出来。人声、音效、环境声融合生成,带远近变化和空间层次,比如有声书里旁白加两位角色对话,再配上城市低鸣、晚风和易拉罐碰撞声,对话一听就发生在故事场景里。自然语言加细粒度时间戳控制生成,支持 48kHz 输出,语气语速音量、配器风格、事件先后、对白起止都能具体安排。
播客、有声书、影视剧、游戏、广告,这些以前养一个团队的活,现在被压成了一条生成链路。创作门槛下来了,拼的就是想法和剧本。
Realtime:能打断、会共情,还能在通话里调工具干活
实时语音交互最怕什么?怕它只能听或只能说,你一插话它就乱。
Qwen-Audio-3.1-Realtime 这次押的是全双工实时交互:同时说和听,用户随时插话打断。基于多教师蒸馏架构,低延迟留住,理解、推理、表达和安全一起往上加。
共情是这次讲得最细的一块。识别到用户语气低落时放慢语速、调整措辞,紧张、开心、失落、犹豫各有合适的表达,角色扮演里人设不只留在提示词里,也体现在连续的声音表达里。结果呢,聊天不再是"你问我答",而是接近真人通话的节奏:适时等待、插入、回应。
还有两个实用升级。对话中切换语言不断线,上下文、语气和节奏接着走,官方演示里中文、日语、韩语三国旅行规划一次聊完。实时对话中可调用工具,连 API、知识库和业务系统做搜索查询和任务执行,结果自然带回对话。Qoder、千问办公等 Agent,以及 QwenNote、AI 眼镜等硬件已经在接,语音正在变成直接发任务的入口。
安全边界也收紧了:面对不确定信息少给没依据的回答,敏感高风险内容更准确识别边界。能聊,也知道什么时候该谨慎。
价格与接入:ASR降达95%,四款API已上架千问平台
最后说大家最关心的钱和怎么用。
全线降价幅度:TTS 约 70%,Realtime 约 85%,ASR 达 95%。语音是量大的生意,这个降幅基本是按"放量"来打的。实际计费口径、并发限制和可用地域以控制台页面为准,引用报价回原文核对一遍最稳。
接入路径很短:ASR、TTS、TTS-Next、Realtime 四款 API 已上架千问 AI 平台,ASR-Next 即将上线。原有语音工作流想升级的,直接换模型 ID 就能吃到降价和新能力;新起播客、有声书、出海视频项目的,可以从 TTS-Next 和 Realtime 开始搭。
怎么理解:语音从功能模块变成完整工种
Qwen-Audio 3.1 真正有意思的不是单项跑分,而是它把语音拆成了五个工种:听写的、说话的、聊天的、创作的、搞理解的,各就各位。
考核也换了:以前比谁听得准、读得像,现在比谁润色完就能用、跨语言不串角、一次交出成品音频、通话里把事办完。4.55% 的字错率是听得准,160 毫秒是够快,82.10% 的方言翻译句准率是真懂,而 TTS-Next 和 Realtime 解决的是"交活"问题。
结尾留个好玩的吧。以前我们说语音 AI,是给电脑装了耳朵和嘴;现在,更像组了个音频小团队——速记员记得快,配音员会八国语言,接线员情商在线,编导直接交成片。你只管动嘴,剩下的,它们自己商量着办。