实时语音 · 横评

AI惊叹号 - 语音模型四国杀:都说自己第一,量的其实是四件事

Grok 说语音榜 86.9 分第一,Mistral 说转写错误率 4.1%,ElevenLabs 说 90 多种语言,Gemini 的 Live 是另一条产品线。四份战报放在一起,你会发现它们连赛道都没站在一起。

2026 年 10 月 21 日全文约 7,400 字读完约 17 分钟

四家都说自己第一,它们量的到底是哪一段?

先把四份战报摆出来。

xAI 说,Grok Voice 3.0 在 Artificial Analysis 的语音到语音榜上拿到 86.9,排第一。同一份材料里还有:Big Bench Audio 98.5%,Full Duplex Bench 97.0%,ServiceNow 的 EVA-Bench 74%,Speech Agent Arena 的 Elo 1070。

Mistral 说,Voxtral 3 家族的转写模型在 FLEURS 上把 WER 压到 4.1%。说话人分离的 cpWER 是 18.4%,而它拿来对比的 Gemini 3.5 Transcribe 是 38.4%。

ElevenLabs 说的是另一端:v4 支持 90 多种语言和口音,v4 Turbo 的首音频大约 150 毫秒,用户插话能在词中间停下来。

Google 这边的数字是 82.6。Gemini 3.8 Live 在同一个语音到语音榜上排第二,首音频 1.35 秒。

四个数字,四个维度。一个量端到端的对话质量,一个量听写的准确率,一个量语言覆盖,一个量延迟。

它们之所以能同时叫「第一」,是因为实时语音根本没有一个统一的评测面。你可以把它做成一条完整的端到端模型,也可以拆成三段拼起来。这两种架构的分数,天然不可比。

路线一 · 拼装链路(Mistral、ElevenLabs)
VAD 判停→ STT 转写→ LLM 思考→ TTS 出声
路线二 · 端到端语音到语音(Grok、Gemini Live)
音频进→ 一个模型直接出音频→ 音频出

拼装链路的好处是每一段都能单独换、单独测。转写差了换 STT,音色不好换 TTS。坏处是延迟要一段段加,错误也会一段段传。

端到端的好处是省掉了中间那几次转换,语气、停顿、情绪能一起学进去。坏处是黑箱,出了错你不知道该怪耳朵还是怪脑子。

先填一个榜单里的坑

不少盘点把 Gemini 4 Argon 写进语音横评,还拿它的 1525 分说「谷歌语音第一」。Argon 不支持 Live API,也不能生成音频。

真正能接电话的是 gemini-live-2.5-flash-native-audio 这条线,对外叫 Gemini 3.8 Live。拿文本榜的分数给麦克风打分,是这两周最流行的一处误读。

所以第一个问题的答案是:四家量的不是同一段。Grok 量的是「一整轮对话有多像人」,Mistral 量的是「耳朵有多准」,ElevenLabs 量的是「嘴有多像」,Gemini 量的是「端到端有多快」。要横评,得先把它们放回链路上。

90 毫秒和 1.35 秒,差的是同一段延迟吗?

不是。这是这份横评里最容易搞错的一处。

Mistral 说的 90 毫秒,是 TTS 从拿到文本到吐出第一段音频的时间。ElevenLabs 说的 150 毫秒,也是同一段:官方拆得很细,142 毫秒里,81 毫秒是音频到达,61 毫秒是静音填充。

Grok 说的 0.81 秒,是端到端:从用户说完,到模型开口。Gemini 3.8 Live 的 1.35 秒,也是端到端。

一个只算最后一公里,一个算整条路。把 90 毫秒和 1.35 秒放在一张图里比,就像拿百米成绩和马拉松成绩比谁快。

Mistral Voxtral TTS · 首音频90 ms
ElevenLabs v4 Turbo · 首音频约 150 ms
Grok Voice 3.0 · 端到端首音频0.81 s
Gemini 3.8 Live · 端到端首音频1.35 s
条形长度按数值等比绘制,但前两项与后两项不是同一指标,不能直接相减。端到端数值里已经包含了 VAD 判停、模型推理和音频合成。

拼装链路的延迟是可以逐段算的。VAD 判停通常 100 到 300 毫秒,实时转写 200 到 500 毫秒,LLM 首 token 300 到 800 毫秒,TTS 首音频 90 到 150 毫秒。加起来 0.7 到 1.3 秒,和端到端差不多在同一量级。

这也解释了一个反直觉的现象:端到端并没有更快。它省掉了段与段之间的交接,但模型更大、音频解码更重,还要等 VAD 确认你说完了。省下来的时间,又被吃回去了。

人类对话的轮转间隔大约 200 毫秒。所有语音产品都在追这个数,目前没有一家追平。

那 1.35 秒能不能用?可以,但要看场景。客服能忍,因为用户在等一个答案;陪伴忍不了,沉默两秒就像对方走神了;同传更忍不了,字幕会一直落后。

所以第二个问题的答案是:90 毫秒和 1.35 秒不是同一段。要比延迟,先问它从哪一刻开始计时。

一分钟通话,账单到底怎么算?

四家的计价单位完全不同,这是第二个容易被带偏的地方。

公开列表价 · 2026 年 10 月
Grok Voice 3.0 · 语音到语音$0.08 / 分钟
Mistral Voice Agent API · 配 Mistral Small 4$0.04 / 分钟
Mistral Voice Agent API · 配其他 LLM$0.08 / 分钟
Mistral 实时转写$0.008 / 分钟
Mistral TTS$13 / 百万字符
ElevenLabs v4$80 / 百万字符(约 $0.08/分钟)
ElevenLabs v4 Turbo$40 / 百万字符(约 $0.04/分钟)
Gemini 3.8 Live · 音频$0.005 入 + $0.018 出 / 分钟

看单价,Gemini 最便宜,一分钟大约 0.023 美元,再加上文本 token。Grok 最贵,0.08 美元。差了 3 倍多。

但账单不是这么算的。拿一个具体业务代入:每天一万通电话,平均每通 3 分钟,一个月 30 天,总共 90 万分钟。

同一个业务,四套账单(90 万分钟/月)

Grok:90 万 × 0.08 = 7.2 万美元

Gemini 3.8 Live:90 万 × 0.023 ≈ 2.07 万美元,另加文本 token 与工具调用

ElevenLabs v4 Turbo:90 万 × 0.04 = 3.6 万美元,另加自选 LLM 费用

Mistral Voice Agent:90 万 × 0.04 到 0.08 = 3.6 万到 7.2 万美元,已含 LLM

四个数字,最贵和最便宜差 5 万美元一个月。但先别急着选便宜的。

这里有三笔钱没算进去。

第一笔是静音。按分钟计费的产品,用户沉默、等待、思考的时间都在走表。如果一通电话里真正说话只占 40%,你实际为「有效对话分钟」付的钱要乘 2.5。

第二笔是工具。语音单价只覆盖听和说。中间查订单、调知识库、走 MCP 的 token 和第三方费用,另算。

第三笔是重试。转写错一次、意图识别错一次,用户要重说一遍。这部分的成本不会出现在价目表上,只会出现在账单末尾。

所以第三个问题的答案是:单价最低不等于账单最低。真正要算的是「每分钟里有多少秒在说话」,以及「一次说对的概率有多高」。

语言数从 20 到 90,多出来的能接电话吗?

把四家的语言覆盖排一排,差距很大。

Grok Voice 3.020
Gemini Live24
Mistral STT50
ElevenLabs90+

数字很好看,但里面有三处要打折扣。

第一处,Mistral 自己的口径就不统一。发布稿说 TTS 支持 35 种以上语言、50 种以上口音,模型文档页只列了 9 种。转写那边是 50 种,其中 24 种是欧盟官方语言。

第二处,语言数不等于口音数。同样一句英语,印度口音、尼日利亚口音、苏格兰口音,识别率能差一大截。Grok 用的是 20 个 locale,这个说法比「20 种语言」更诚实,因为它承认了区域变体。

第三处,能不能中途切换是另一项能力。一个中国用户打进来,先讲普通话,中间夹两个英文产品名,最后换成粤语。这种场景不看语言列表,看的是模型会不会在句子里切换。

这一节的答案

语言覆盖是市场参数,不是可用性参数。要接电话,得拿你自己的真实录音去测目标语种的 WER,而不是数官网上的语言条数。

打断用户那句话,为什么比音色更难?

你用过语音助手就知道,最劝退的不是声音假,是你说「等一下」它还在念。

打断这件事,工程上有三道坎。

1
它得先听见自己
麦克风会收回扬声器放出来的声音。不消回声,模型会以为用户在说话,然后自己打断自己。这一层做不好,通话会变成两个人抢话。
2
它得判断这算不算打断
「嗯」「对」是附和,不是抢话。阈值定低了,用户一点头就被截断;定高了,用户喊三遍才停。服务端 VAD 的价值就在这里。
3
它得记住自己说到哪
被打断之后,上半句已经说出口,下半句还没说。上下文要保留,但不能重复。这一层最考验状态管理,也最少被写进评测。

三家在这件事上的表述不太一样。Grok 强调服务端 VAD 处理 barge-in;ElevenLabs 强调能在词中间停,并且在同一轮里接住新问题;Mistral 的说法是用户插话即停止播放。

表述背后是架构差异。端到端模型可以一边输出一边听,天然适合打断;拼装链路要在一个回合结束后才能切状态,打断就得靠外部调度器硬切。

所以第五个问题的答案是:打断是系统能力,不是模型能力。它取决于回声消除、VAD 阈值和状态管理三件事,而这三件事通常不写在模型卡上。

工具调用接进电话,哪一层在收钱?

语音 Agent 真正干活,靠的是中间那层工具。四家给的入口不一样。

Grok Voice 3.0 · 五类工具
文件与 collections 检索、Web 搜索、X 搜索、远程 MCP、自定义函数。远程 MCP 是这里面最值得注意的一项,它意味着企业可以把内部系统挂上去,不用把数据搬到模型侧。
ElevenAgents · 四类工具
Client、Server、MCP、System 四种。Client 工具在终端执行,Server 工具在服务端执行,这个区分对隐私场景很实用。
Mistral 与 Gemini Live · 函数调用
Mistral 支持 function calling、Web 搜索和私有检索;Gemini Live 支持 function calling 和 Google Search。两家都把工具当成模型能力的一部分,而不是单独的平台层。

收费结构决定了你该选谁。

按分钟计费的产品,工具调用产生的 token 往往不在那个单价里。你看到 0.08 美元一分钟,实际账单可能是 0.11。尤其是客服场景,一次通话查三次订单、两次库存,工具往返的次数比说话次数还多。

还有一笔隐性成本是延迟。每一次远程工具调用都是一次网络往返。MCP 挂在企业内网,往返 200 毫秒很常见。三次调用叠起来,用户就得多等半秒多。

语音单价买的是嘴和耳朵,手要另外付钱。

所以第六个问题的答案是:工具层是独立计费、独立延迟、独立故障的。选型时不要只看语音报价,要把工具调用次数乘进去。

客服、陪伴、同传、配音,四种场景分别该选谁?

把前面五节收成一张决策图。四种场景,四个不同的最优点。

场景一 · 客服
Grok Voice 3.0 优先
EVA-Bench 74% 是这类任务里最高的,五类工具能直接接内部系统。代价是 0.08 美元一分钟,以及 τ-Voice 71.6% 仍落后 GPT-Live-1 的 74.5%,多轮复杂任务要自己压测。
场景二 · 陪伴
ElevenLabs + 自选 LLM
90 多种语言、词中间可打断、首音频 150 毫秒。音色是这类产品的命门,把 TTS 单独拎出来选,比绑一个端到端模型更灵活。
场景三 · 同传与会议纪要
Mistral Voxtral Transcribe
FLEURS WER 4.1%,50 种语言,实时转写 0.008 美元一分钟。它的强项是听写准,不是聊天像人。转写和说话分开计价,反而好控成本。
场景四 · 低成本外呼
Gemini 3.8 Live
音频一分钟约 0.023 美元,是四家里最低的。代价是首音频 1.35 秒,适合用户能等的确认类、通知类外呼,不适合抢话式销售。

还有一个反例值得单独说:别把 Gemini 4 Argon 排进语音横评。它是文本与多模态推理模型,不支持 Live API,也不能生成音频。这两周至少有三份盘点把它写成「谷歌语音新王」,然后拿文本分数和 Grok 的语音分数对比。

另外提醒一句,Grok 的 86.9 分来自 xAI 引用 Artificial Analysis 的结果,属于厂商引用第三方,不是独立审计。Mistral 的 TTS 评测用的是自家选的提示词,评委还是 Gemini 3.8 Flash。这些都要在引用时标清楚。

所以第七个问题的答案是:客服看工具和任务完成率,陪伴看音色和打断,同传看 WER 和语言,外呼看单价。没有一个模型能在四栏里同时第一。

胜负手不在音色

这一轮语音模型的竞争,表面上是音色和拟人度,实际上是三件事。

第一件是延迟预算。端到端 0.81 秒已经不错,但人类对话是 200 毫秒。谁能把 VAD、推理、合成压进 500 毫秒,谁就能让对话不再像对讲机。

第二件是工具链。语音只是入口,真正解决问题靠中间那层调用。远程 MCP 这类能力,会把语音 Agent 从「能聊」推到「能办事」。

第三件是计费口径。按分钟、按字符、按 token,三种算法对应三种业务形态。选错了计价方式,模型再好也会亏。

至于音色,它是最容易被追平的一环。今天你觉得某个声音更自然,三个月后大家都能做到。但延迟预算、工具生态、账单结构,这三样要慢慢磨。

下次再看到「语音第一」的战报,先问一句:你量的是哪一段。