Представляем Live 3: Создана для ритма живого общения
Вы делаете паузу, чтобы вспомнить номер. Говорите «да», пока кто-то объясняет. Меняете решение прямо в процессе заказа. Эти моменты — естественная часть разговора.
Сегодня мы представляем Live 3, полнодуплексную голосовую модель от Fish Audio. Она продолжает слушать, даже когда говорит сама, поэтому пауза, короткое подтверждение или смена темы могут мгновенно изменить ход диалога.
Тихое «угу». Время, чтобы закончить мысль. Возможность вмешаться.
Live 3 создана для того, чтобы люди могли говорить естественно. Попробуйте сами на fish.audio/agents.
Изучение ритма беседы
Скорость и тайминг в разговоре — это разные задачи. Агент может начать отвечать быстро, но все равно заговорить в неподходящий момент. Пауза после вопроса «Во сколько вы открываетесь?» может означать, что вы закончили. Пауза на середине продиктованного номера телефона означает, что дальше будет продолжение.
Большинство голосовых агентов координируют распознавание речи, логику, генерацию речи и смену ролей через отдельные части конвейера. Чтобы эти части работали вместе естественно, требуются большие усилия. Live 3 встраивает понимание тайминга беседы непосредственно в саму речевую модель.
Мы обучили её на реальных человеческих диалогах, чтобы она понимала, когда нужно подтвердить получение информации, подождать, ответить или замолчать. Эти модели поведения были усвоены от людей, а не прописаны в виде списка правил.
«До сих пор решением было добавление новых правил и пороговых значений», — говорит Рисса Цао (Rissa Cao), сооснователь и CEO Fish Audio. «Мы считаем, что модель должна учиться этому на реальных разговорах, точно так же, как языковые модели учат грамматику».
Подтверждение без перехвата инициативы
Продиктуйте номер по частям: «415… 555… 0132». Live 3 может сказать «угу» или «хорошо, 415» между ними и ждать остальное.
Это короткое подтверждение решает две задачи одновременно: оно дает понять, что цифры услышаны, и оставляет слово за вами. Вы можете перевести дух, проверить следующие цифры и продолжить.
Live 3 может принять решение об ответе всего за 186 миллисекунд. Короткие реакции, такие как «мгм», «хорошо» и быстрые подтверждения, поддерживают динамику диалога, пока готовится полный ответ.
Понимание того, когда вы хотите вмешаться
Не каждый звук является прерыванием. Если агент объясняет свои услуги и часы работы, вы можете сказать «да» или «угу», чтобы показать, что вы внимательно слушаете. Live 3 продолжит говорить.
Но если вы скажете: «Подождите, на самом деле мне нужен только четверг», — она остановится и выслушает ваш новый запрос.
Это различие полностью меняет ощущение от звонка. Вы можете подтверждать услышанное, не обрывая случайно речь собеседника, и менять направление разговора, не дожидаясь окончания длинного ответа.
Время на то, чтобы передумать
«Я бы хотел две пиццы… нет, три. Три больших. И… на самом деле, пусть одна из них будет Маргаритой».
Live 3 выжидает во время каждой корректировки, вместо того чтобы перебивать с неправильным заказом. Вы всё ещё принимаете решение, и модель дает возможность закончить мысль.
Звонки в службу поддержки, бронирование и заказы полны таких моментов. Люди сомневаются, вспоминают детали и пересматривают запрос прямо в процессе речи. Агент, следующий этому ритму, позволяет разговору двигаться вперед, не заставляя звонящего начинать всё сначала.
Почувствуйте разницу
Голос может звучать естественно сам по себе. Но настоящая проверка — это то, что происходит, когда кто-то заговаривает в ответ.
Live 3 слушает на протяжении всего обмена репликами: подтверждает, не перехватывая инициативу, оставляет пространство, если ожидается продолжение, и уступает, если вы её перебиваете. Вы предоставляете инструкции, инструменты и рабочие процессы, которые делают агента уникальным. Live 3 обеспечивает ритм живого общения.
На сегодняшний день Live 3 говорит на английском языке. Она доступна на платформе Fish Agent и через наш API, а корпоративные клиенты могут развернуть её локально (on-premises).
Делайте паузы. Думайте. Меняйте мнение. Продолжайте говорить.
Jiahua Liu is the CTO and co-founder of Fish Audio, pushing breakthroughs in AI voice technology.
Читать больше от Jiahua LiuRissa is the CEO and co-founder of Fish Audio, pushing breakthroughs in AI voice technology. Find her latest work at @rissa_cao.
Читать больше от Rissa Cao