Live 3 发布:专为对话节奏而生
你在记一个号码时会停顿;在别人解释时会说“嗯”;在点单到一半时会改变主意。这些瞬间都是对话的一部分。
今天,我们正式推出 Live 3 —— Fish Audio 的全双工语音模型。它在说话的同时保持倾听,因此一次停顿、一个简短的应答或一次主意的改变,都能实时影响接下来的对话流。
一声轻柔的“嗯哼”、一段思考余地、一个插话的空间。
Live 3 旨在为人们提供自然表达的空间。欢迎前往 fish.audio/agents 亲自体验。
学习对话的节奏
响应速度与对话时机并非同一个问题。一个智能体可能响应很快,却依然在错误的时机开口。在问完“你们几点开门?”后的停顿可能意味着你说完了;但在报出一串电话号码中间的停顿,则意味着后面还有内容。
大多数语音智能体通过流水线的不同部分来协调语音识别、推理、语音生成和话轮转换(turn-taking)。要让这些部分自然协作需要极高的打磨。而 Live 3 将对话时机直接融入到了语音模型本身之中。
我们使用真实的人类对话对其进行训练,使其学会何时该应答、等待、响应或停止。这些行为是向人类学习的,而非编写的一套规则。
“目前的解决方案一直是堆砌更多规则和阈值,”Fish Audio 的联合创始人兼 CEO Rissa Cao 表示,“我们认为模型应该从真实的对话中学习这一点,就像语言模型学习语法一样。”
给予反馈,而非抢夺话语权
试着分段报出一个号码:“415…… 555…… 0132。”Live 3 可能会在间隔中说“嗯哼”或“好的,415”,然后等待剩余的部分。
这个小小的应答同时起到了两个作用:它告诉你数字已被听到,同时保持话路开启。你可以喘口气,确认下几个数字,然后继续。
Live 3 最快可在 186 毫秒内决定做出响应。诸如“嗯哼”、“好的”和快速确认之类的简短反应,可以在完整答案准备期间保持交流的连贯性。
识别你何时想要插话
并非所有的声音都是干扰。如果智能体正在解释服务内容和营业时间,你可能会说“对”或“嗯”来表示你在听。Live 3 会继续说下去。
但当你接着说:“等等,其实我只需要周四的。”它会立即停下,为你的新请求腾出空间。
这种区分改变了整个通话的质感。你可以对听到的内容做出反馈而不用担心意外打断它,也可以直接改变话题而无需等待冗长的回答结束。
给你改变主意的空间
“我想要两个披萨……不,三个。三个大份的。还有……其实,其中一个换成玛格丽特。”
Live 3 会在每次修改时等待,而不是急于插话确认错误的订单项。你还在做决定,它会留出空间让你完成思考。
服务热线、预订和点单中充满了这样的时刻。人们会犹豫,会想起另一个细节,会在话说到一半时修正请求。一个能够跟上这种节奏的智能体可以让对话稳步推进,而无需让拨号者从头开始。
聆听差异
声音本身听起来自然并不难,真正的考验在于有人回话时的表现。
Live 3 在整个交流过程中保持倾听:给以应答而不抢夺话头,在有后续内容时留出空间,并在你插话时主动让位。你提供指令、工具和工作流来定义你的智能体,而 Live 3 赋予它对话的节奏。
Live 3 目前支持英语。它已在 Fish Agent Platform 上线,并可通过我们的 API 调用,企业用户也可选择私有化部署。
停顿、思考、改变主意、继续诉说。
Jiahua Liu is the CTO and co-founder of Fish Audio, pushing breakthroughs in AI voice technology.
阅读Jiahua Liu的更多内容Rissa is the CEO and co-founder of Fish Audio, pushing breakthroughs in AI voice technology. Find her latest work at @rissa_cao.
阅读Rissa Cao的更多内容