Dubbing AI, Fish Audio와 함께 1,000만 사용자를 위한 실시간 Voice Agent 구축

Dubbing AI는 이미 음성 중심의 플랫폼을 구축했습니다. 사용자는 실시간으로 목소리를 바꾸거나 복제하고, 억양을 다듬고, 언어 간 번역을 할 수 있었습니다. Voice Agent는 AI가 사용자를 대신해 말하는 새로운 방향으로 제품을 확장했습니다.

활용 사례는 분명했습니다. 게이머는 대화 중 에이전트에게 응답을 맡길 수 있고, 바빠서 전화를 못 하는 사람은 통화를 대신 맡길 수 있습니다. 잠시 직접 소통할 수 없는 사람도 실시간 대화를 이어갈 수 있습니다.

하지만 목소리가 실제처럼 들려야만 가능한 경험이었습니다.

눈에 띄는 멈춤이나 단조롭고 기계적인 응답은 대화를 부자연스럽게 만듭니다. Dubbing AI에 실시간 TTS는 단순히 음성을 빨리 생성하는 문제가 아니었습니다. 자연스러움과 감정, 화자의 정체성을 유지하며 전 세계 사용자가 필요한 언어를 지원해야 했습니다.

Dubbing AI는 Voice Agent 경험에 필요한 조건을 바탕으로 여러 TTS 제공업체를 평가했습니다. 기준은 자연스러움, 감정의 깊이, 음성 복제 품질, 지연 시간, 다국어 지원의 다섯 가지였습니다.

평가 과정에서 어려운 절충 문제가 드러났습니다. 지연 시간이 짧은 모델은 감정 표현이 부족하고, 표현력이 좋은 모델은 대화를 방해하는 지연이 생길 수 있었습니다. 한 언어에서는 잘 작동하지만 언어를 바꾸면 품질이 떨어지는 모델도 있었습니다.

게임, 엔터테인먼트, 상업적 용도로 1,000만 명 이상이 사용하는 제품이라면 경험의 한 부분만 뛰어나서는 충분하지 않았습니다.

Dubbing AI에는 모든 기준을 동시에 충족하는 모델이 필요했습니다.

Fish Audio는 Dubbing AI의 Voice Agent에 필요한 자연스러운 음성, 풍부한 감정, 뛰어난 음성 복제, 낮은 지연 시간, 다국어 지원을 함께 제공해 돋보였습니다.

이 기준들은 서로 연결되어 있어 차이가 중요했습니다. 자연스러움은 신뢰감을, 감정 표현은 인간미를 더합니다. 음성 복제는 화자의 정체성을 유지하고, 낮은 지연 시간은 대화의 흐름을 살리며, 다국어 지원은 Dubbing AI의 전 세계 사용자에게 같은 경험을 제공합니다.

Fish Audio는 80개 이상의 언어와 자연스러운 언어 전환을 지원하면서 실시간 상호작용에 필요한 응답성을 유지했습니다.

Voice Agent는 기술적 가능성을 넘어 Dubbing AI가 전 세계 사용자에게 제공할 수 있는 제품으로 발전하고 있습니다. Fish Audio가 실시간 TTS를 담당하면서 Dubbing AI는 필요한 속도, 표현력, 음질을 유지하고 새로운 소통 방식을 만드는 데 집중할 수 있습니다.

그 결과, 단순히 응답하는 것을 넘어 계속 대화하고 싶은 목소리의 에이전트가 탄생합니다.