Live 3를 소개합니다: 대화의 리듬을 위해 설계되었습니다
숫자를 기억하기 위해 잠시 멈추거나, 누군가의 설명을 들으며 "네"라고 답하거나, 주문 중간에 마음을 바꾸기도 합니다. 이러한 순간들이 모여 대화가 됩니다.
오늘 우리는 Fish Audio의 풀 듀플렉스(Full-duplex) 음성 모델인 Live 3를 소개합니다. Live 3는 말하는 중에도 계속해서 듣고 있기 때문에, 대화 중의 일시 정지, 짧은 맞장구, 혹은 갑작스러운 생각의 변화가 다음 대화의 흐름을 자연스럽게 바꿀 수 있습니다.
조용한 "음-흠" 소리, 생각을 정리할 시간, 그리고 대화에 끼어들 여지.
Live 3는 사람들이 자연스럽게 말할 수 있는 공간을 제공하도록 설계되었습니다. fish.audio/agents에서 직접 경험해 보세요.
대화의 리듬 학습하기
속도와 대화의 타이밍은 서로 다른 문제입니다. 에이전트가 답변을 빨리 시작하더라도 잘못된 순간에 말을 꺼낼 수 있습니다. "언제 문을 여나요?"라고 물은 뒤의 멈춤은 질문이 끝났음을 의미할 수 있지만, 전화번호 중간의 멈춤은 뒤에 더 많은 내용이 올 것임을 의미합니다.
대부분의 음성 에이전트는 음성 인식, 추론, 음성 생성, 그리고 대화 순서 제어(Turn-taking)를 파이프라인의 각기 다른 부분에서 처리합니다. 이러한 요소들이 자연스럽게 조화를 이루도록 만드는 데는 세심한 주의가 필요합니다. Live 3는 대화의 타이밍 자체를 음성 모델 내부에 통합했습니다.
우리는 Live 3를 실제 사람들의 대화로 학습시켜, 언제 맞장구를 치고, 기다리고, 응답하거나 멈춰야 할지를 스스로 배우게 했습니다. 이러한 행동들은 규칙 리스트로 작성된 것이 아니라, 사람들에게서 학습된 것입니다.
Fish Audio의 공동 창립자이자 CEO인 Rissa Cao는 "지금까지의 해결책은 더 많은 규칙과 임계값을 설정하는 것이었습니다. 하지만 우리는 언어 모델이 문법을 배우는 것과 같은 방식으로, 모델이 실제 대화를 통해 이를 학습해야 한다고 믿습니다."라고 말했습니다.
대화를 가로채지 않는 맞장구
전화번호를 끊어서 읽어보세요: "415... 555... 0132." Live 3는 번호 사이사이에 "음-흠"이나 "네, 415"라고 말하며 나머지 번호를 기다릴 수 있습니다.
이 작은 맞장구는 두 가지 역할을 동시에 수행합니다. 상대방의 숫자를 잘 들었다는 신호를 주는 동시에, 상대방이 계속 말할 수 있도록 기회를 열어두는 것입니다. 덕분에 사용자는 숨을 고르거나 다음 숫자를 확인하며 대화를 이어갈 수 있습니다.
Live 3는 최소 186밀리초 만에 응답 여부를 결정할 수 있습니다. "음-흠", "알겠습니다"와 같은 짧은 반응과 빠른 확인은 전체 답변이 준비되는 동안 대화의 흐름이 끊기지 않게 유지해 줍니다.
끼어들 시점 파악하기
모든 소리가 대화의 방해인 것은 아닙니다. 에이전트가 서비스와 영업시간을 설명할 때, 사용자가 잘 듣고 있다는 의미로 "네"나 "음-흠"이라고 말해도 Live 3는 설명을 계속 이어갑니다.
그러다 사용자가 "잠시만요, 사실 목요일 예약만 필요해요"라고 말하면, Live 3는 즉시 말을 멈추고 새로운 요청을 수용합니다.
이러한 차별점이 통화 전체의 느낌을 바꿉니다. 듣고 있는 내용을 끊지 않으면서도 맞장구를 칠 수 있고, 긴 답변이 끝나기를 기다릴 필요 없이 대화의 방향을 바꿀 수 있습니다.
마음을 바꿀 수 있는 여유 제공
"피자 두 판 주세요... 아니, 세 판요. 큰 사이즈로 세 판요. 그리고... 아, 하나는 마르게리타로 해주세요."
Live 3는 중간에 잘못된 메뉴로 끼어드는 대신, 각 수정 사항이 끝날 때까지 기다립니다. 사용자가 여전히 고민 중이라는 것을 이해하고, 생각이 마무리될 때까지 공간을 제공하는 것입니다.
고객 지원, 예약, 주문 과정에는 이런 순간들이 많습니다. 사람들은 망설이고, 세부 사항을 뒤늦게 기억해 내며, 말을 하는 도중에 요청을 수정하곤 합니다. 이러한 리듬을 따르는 에이전트는 발신자가 처음부터 다시 말하게 하지 않고도 대화를 진전시킵니다.
차이를 들어보세요
목소리 그 자체로 자연스럽게 들릴 수는 있습니다. 하지만 진짜 시험대는 누군가 말을 걸었을 때 일어납니다.
Live 3는 대화 내내 경청합니다. 대화를 가로채지 않고 맞장구를 치고, 다음 말이 이어질 때 공간을 비워주며, 사용자가 끼어들 때 양보합니다. 여러분은 지시사항, 도구, 워크플로우를 제공하여 에이전트를 완성하고, Live 3는 대화의 리듬을 완성합니다.
Live 3는 현재 영어를 지원합니다. Fish Agent Platform과 API를 통해 이용 가능하며, 기업 고객은 온프레미스(On-premises)로도 구축할 수 있습니다.
잠시 멈추고, 생각하고, 마음을 바꾸며, 계속 대화하세요.
Jiahua Liu is the CTO and co-founder of Fish Audio, pushing breakthroughs in AI voice technology.
Jiahua Liu의 더 많은 글 보기Rissa is the CEO and co-founder of Fish Audio, pushing breakthroughs in AI voice technology. Find her latest work at @rissa_cao.
Rissa Cao의 더 많은 글 보기