Dubbing AI

Dubbing AI создаёт Voice Agent в реальном времени для 10 миллионов пользователей с Fish Audio

Dubbing AI позволяет геймерам, стримерам и авторам клонировать, изменять и переводить голоса. С Voice Agent компания пошла дальше: теперь ИИ говорит за пользователей в реальном времени. Для этого требовался естественный и выразительный синтез речи без потери скорости.

Используемые продукты
Fish Audio S2 ProAPI синтеза речи

Dubbing AI хотел, чтобы Voice Agent воспринимался как человек, а не голосовой помощник

Dubbing AI уже создал платформу вокруг голоса. Пользователи могли менять голос в реальном времени, клонировать его, корректировать акценты и переводить между языками. Voice Agent открыл новое направление: теперь ИИ мог говорить от имени пользователя.

Сценарии применения были очевидны. Геймер мог поручить агенту ответить в разговоре. Занятой человек — сделать звонок вместо него. Даже тот, кто временно не мог говорить сам, получал возможность общаться в реальном времени.

Но такой опыт работал только при реалистичном звучании голоса.

Заметная пауза делала общение искусственным, как и монотонный или роботизированный ответ. Для Dubbing AI TTS в реальном времени означал не просто быструю генерацию речи. Голос должен был звучать естественно, передавать эмоции, сохранять индивидуальность говорящего и поддерживать языки пользователей по всему миру.

Даже самая быстрая модель не подходила, если звучала монотонно

Dubbing AI оценил несколько поставщиков TTS с учётом требований Voice Agent. Команда выделила пять критериев: естественность, эмоциональную глубину, качество клонирования голоса, задержку и многоязычность.

Оценка выявила сложный компромисс. Модели с низкой задержкой могли терять эмоциональную выразительность. Выразительные модели могли создавать задержки, нарушающие разговор. Другие хорошо работали на одном языке, но уступали при переключении на другой.

Для продукта с более чем 10 миллионами пользователей в играх, развлечениях и коммерческих сценариях превосходства лишь в одной части опыта было недостаточно.

Dubbing AI нужна была модель, отвечающая всем требованиям одновременно.

Fish Audio дает исключительную естественность голоса, богатую эмоциональную выразительность и надежный TTS с низкой задержкой, который точно поддерживает ключевой опыт нашего продукта Voice Agent.

Tiange Ling

CEO Dubbing AI

Fish Audio оказался единственной моделью, выполнившей все пять требований

Fish Audio выделилась сочетанием возможностей, необходимых Dubbing AI для Voice Agent: естественной речью, эмоциональной глубиной, качественным клонированием голоса, низкой задержкой и многоязычной поддержкой.

Это различие было важно, поскольку критерии взаимосвязаны. Естественность делала голос убедительным. Эмоциональная выразительность придавала ему человечность. Клонирование сохраняло индивидуальность говорящего. Низкая задержка поддерживала плавность разговора. Многоязычность обеспечивала одинаковый опыт пользователям Dubbing AI по всему миру.

Fish Audio поддерживала более 80 языков с нативным переключением между ними, сохраняя скорость отклика, необходимую для взаимодействия в реальном времени.

  • Естественность

    Речь звучит по-человечески, а не синтетически

  • Эмоциональная глубина

    Выразительность, передающая каждый нюанс

  • Клонирование голоса

    Клонированные голоса сохраняют индивидуальность говорящего

  • Низкая задержка

    Ответы в реальном времени без заметной задержки

  • Многоязычная поддержка

    Более 80 языков с нативным переключением между ними

Fish Audio даёт Dubbing AI возможности для масштабирования Voice Agent

Voice Agent превращается из технической возможности в продукт, который Dubbing AI может предложить пользователям по всему миру. Fish Audio берёт на себя TTS в реальном времени, а Dubbing AI может создавать новые способы общения, сохраняя необходимую скорость, выразительность и качество голоса.

В результате голосовой агент не просто отвечает: он звучит как тот, с кем хочется продолжить разговор.

Другие истории клиентов

Fish Audio

Готовы, когда будете готовы вы

Обсудите внедрение с нашей командой. Мы придем подготовленными.