blog

Voxtral 3 把语音 Agent 串成管线,转写价不是通话总价

Voxtral 3 将语音转写、通用模型推理与工具调用、语音合成接成可替换的流式管线。四个语音模型仍为 Public Preview;选型要分清分钟价、字符价和两档托管 Voice Agent,而不是用转写单价估整通电话。

PiRouter Team约 8 分钟
Mistral官方Voxtral 3管线图,完整保留转写、推理、工具连接与语音合成标签

10 月 20 日发布的 Voxtral 3,要解决的不只是把声音变成文字,而是把听、推理、调用工具和开口回答串成一段能继续进行的对话。它由一组语音模型与 Voice Agent SDK 组成,转写、通用模型推理和语音合成可以分别选择;截至 10 月 30 日本轮核对,四个语音模型仍标为 Public Preview(公开预览),尚非 GA(正式发布)。预算也要按这条管线拆开:转写的分钟价不是整通电话总价,语音合成按字符收费,公告中的 0.08 美元/分钟只对应使用较大推理模型的 Voice Agent 档位。

对开发者而言,这次发布最有用的变化,是可以把“听错了”“想错了”和“说错了”放回不同环节处理,而不是把所有问题都算在一个语音大模型头上。

一通预约电话,需要的不只是听对每个字

官方发布页展示了一段预约场景:来电者手里有一封法语转诊信,希望助手协助预约。对方说出编号后又作了更正,系统需要按更正后的编号查资料、解释信件内容、给出时段,等用户确认后再执行预约。

这段厂商演示没有被本站实际拨打或验证,但它提出的问题很具体:转写正确,只是完成任务的第一步。助手还必须知道哪组数字已经被撤回、哪一次回答是在确认预约,以及什么时候应该调用业务系统。(Voxtral 3 官方公告与预约演示)

Mistral 把这件事拆成四种工作,却不是四个独立模型:语音转写 STT 负责听,通用语言模型负责推理并调用工具,语音合成 TTS 负责把回复说出来。工具执行是连接业务系统的动作,不是凭空多出一个“预约模型”。

Voice Agent SDK 基于 LiveKit,把这几个阶段接成流式管线。官方设计包括判断来电者是否说完、在用户插话时停止播报,以及在对话中查资料、调用函数。价值不在于每一步都换成新模型,而在于这些步骤能共同推进同一段对话。

公告所说的每轮不到一秒,是厂商描述,不是本站的端到端测试。实际接入电话网络、自己的工具和业务系统后,是否依然及时响应,仍要测整条路径。

Voxtral 3 能换的是阶段,不是自动接好业务系统

不是所有语音工作都需要完整通话代理。

如果任务是处理已经录好的会议或访谈,Mini Transcribe 3 和 Small Transcribe 3 对应已有录音的批量转写路线;如果需要边听边回应,Mini Transcribe Realtime 3 才是实时输入阶段的候选。实时模型卡列出了轮次结束检测、上下文偏置和说话人分离,并通过 WebSocket 提供流式会话。(Voxtral Mini Transcribe Realtime 3 模型卡)

这些名字可以翻译成具体决策:轮次结束检测判断用户是不是说完了,而不只看音频有没有短暂停顿;上下文偏置帮助识别指定术语;说话人分离区分谁在什么时候讲话。它们各自解决一个输入问题,不能替代后面的业务判断。

假设一个客户说的是产品型号,转写却变成相似的人名,应先检查识别阶段和术语提示。如果文字已经正确,助手仍查错订单,则要看推理、工具参数与执行结果。若订单和答案都对,只是品牌名读错,才轮到 TTS 的发音控制。按环节定位,比不断换整套模型更容易找出原因。

Mistral官方Voxtral 3管线图,展示应用输入输出、转写、推理、语音合成及工具连接
Mistral官方管线原图完整引用;工具连接不是第四个独立模型,也不表示业务系统已自动接好。不是本站接入测试。来源:Voxtral 3官方发布公告与管线说明

同样,TTS 负责怎么说,不负责决定该给谁退款。官方允许替换推理模型、声线或语言,但开发者仍需接好业务接口、处理错误并限定权限;SDK 把管线连起来,不会自动把公司的全部流程变成安全的工具。

语言覆盖也不能混看。TTS 模型卡写的是支持 35 种以上语言、50 种以上方言,这不等于每种语言都有同样数量的预设声线,更不等于本站已经验证中文、口音和专业术语的表现。(Voxtral TTS 3 模型卡)

四个语音模型是 Public Preview,API 可用不等于 GA

官方变更日志把 Voxtral 3 音频家族的发布记在 10 月 20 日,明确写出四个模型均为 Public Preview:Mini 批量转写、Mini 实时转写、Small 转写和 TTS。10 月 30 日对四个原始模型页的本轮核对,仍能看到这一标签。(Mistral 变更日志:Voxtral 3 与 Voice Agents)

这不是说预览模型不能开始试用,而是不能把“API 已提供”直接翻译成生产服务承诺。模型卡的预览标签对应这些语音模型,也不能反过来替独立的 Voice Agents 托管产品推断一个未明确写出的 GA 等级。

PiRouter编辑制作的Voxtral 3四个语音模型公开预览状态卡
PiRouter依据官方资料编辑整理:四个语音模型均标为Public Preview,不是官方页面截图,也不将这一标签外推为Voice Agents托管服务的发布等级。来源:Mistral变更日志:Voxtral 3音频家族、Voxtral Mini Transcribe Realtime 3模型卡

对准备接客户电话的团队,当前更适合把它当作验证管线和业务场景的候选。是否适合承担高峰并发、能否满足可用性要求、预览期间接口或计费怎样调整,需要按服务文档和合同确认,不能从发布演示直接得到答案。

自部署也是另一项交付。公告给出了 API 路线,并让希望把整栈放在本地或私有云的团队联系 Mistral。它没有因此证明整套服务已经开源、所有组件都可自由下载,或给出了你的硬件配置与许可。需要控制音频处理位置的团队,应具体确认部署区域、数据流和保留策略,而不是只凭“可自部署”四个字判断。

按分钟的转写与按字符的 TTS,不能压成一个单价

Voxtral 3 的价格需要先按“买的是哪一层”分组。公告与模型卡列出的美元价格如下:

购买对象公开列价计费单位
Mini Transcribe 3,批处理0.0035 美元每分钟音频
Mini Transcribe Realtime 30.008 美元每分钟音频
Small Transcribe 30.004 美元每分钟音频
TTS 313 美元每百万字符
Voice Agent,Mistral Small 4 推理档0.04 美元每分钟
Voice Agent,较大推理模型档0.08 美元每分钟

前三行是在买转写;第四行是在买文字转语音;最后两行则是公告列出的 Voice Agent 档位。Small 与 Mini 的模型卡也分别列出对应转写价格。(Voxtral Small Transcribe 3 模型卡、Voxtral Mini Transcribe 3 模型卡)

这张表不应该被算成“一分钟全部相加”。自己组装语音组件,与购买托管 Voice Agent 管线,是不同的消费路径;不能假设买了后者,还必须把全部组件价再叠加一次。反过来,也不能在没有完整收费范围的情况下,把 0.04 或 0.08 当成包括电话线路、所有外部工具和定制服务的全包成本。公告没有写明较大推理模型具体是哪一个,这里也不补名字。

单位差异会直接影响预算。一分钟来电中,用户可能说了很多,助手只回答一句;也可能用户问得简短,助手解释很长。电话时长不能直接换成 TTS 字符量,用户转写出来的文字量也不等于助手要说的文字量。

如果自己搭管线,还应分别记录推理和工具环节的实际消耗;如果选托管档位,则核对该档覆盖哪些服务。没有这些范围,给出一个精确到小数点的“每通电话总价”,反而容易误导。

先测一段会被打断的对话,再决定是否交给它接电话

最有价值的试点,不是一段安静环境里从头说到尾的朗读,而是一件会发生更正、停顿和插话的真实工作。

可以从预约、查订单或读账单中的一项开始,准备几段去敏对话:用户说错数字后更正;句子中间停顿但尚未说完;助手播报时用户插话撤回;业务工具超时或返回没有记录。它们分别检查识别、轮次控制、对话状态和异常处理,不能只用转写文本是否流畅来打分。

随后按阶段记录问题:最终保留的编号对不对,是否过早截断,工具是否收到正确参数,用户确认是否被保留,以及从说完到听见回复究竟等了多久。模型卡的可配置转写延迟范围,不是整通电话的响应时间;自己的工具等待同样在用户的耐心预算里。

涉及付款、改约或取消等有影响的动作,还要由应用规定确认和权限规则。声音自然、回答快速,都不能替代一次明确授权。这里是开发与验收建议,不是本站已完成这些场景测试。

Voxtral 3 值得试的,是可替换阶段共同完成工作的能力,而不只是某一段语音更便宜。先选一条任务,找出它在哪个环节失败,再按正确单位计算费用;只有当对话真的走到可靠结果,转写、推理和说话才组成了一个有用的语音 Agent。