LiveKit

在 LiveKit 上使用 Fish Audio 构建实时语音代理

Fish Audio 文本转语音 (TTS) 现已作为 LiveKit Agents 的第一方插件推出,并支持通过 LiveKit Inference 调用,让您的代理能够以对话级延迟拥有 Fish Audio 最具表现力的声音。

类别实时基础设施
集成方式LiveKit Agents 插件 (Python) 和 LiveKit Inference
流式处理分块和实时 WebSocket
默认模型Fish Audio S2.1 Pro
音色通过 voice_id 使用任何 Fish Audio 音色或克隆音色
docs.livekit.io ↗

为什么选择 LiveKit 与 Fish Audio

LiveKit 负责实时传输、轮询检测和代理编排。Fish Audio 负责代理的声音表现。两者结合是从原型开发到生产级语音代理的最快路径之一。

两种运行方式

使用 LiveKit Inference 在 LiveKit 的基础设施上运行 Fish Audio,无需额外的供应商 API 密钥;或安装插件以管理您自己的 Fish Audio 账单和频率限制。

为轮询对话设计的流式传输

该插件支持分块合成和实时 WebSocket 流式传输,因此语音在第一个 Token 到达时即开始播放,无需等待完整响应。

每个代理均可调优所有 Fish Audio 音色

将 voice_id 指向 Fish Audio 库中的任何音色或您创建的克隆音色,然后为每个代理设置语速、音量、温度 (temperature) 和 top_p。

如何使用

3 步即可将 Fish Audio 声音接入 LiveKit 并上线产品。

步骤 01

安装插件

通过简单的扩展将 Fish Audio 添加到 LiveKit Agents。

pip install "livekit-agents[fishaudio]"
步骤 02

设置您的 API 密钥

在代理的环境变量中导出 FISH_API_KEY,或者使用 LiveKit Inference 完全跳过此步骤。

获取 API Key
.env
12345678
FISH_API_KEY=your_api_key

获取 API Key

获取 API Key
步骤 03

为您的代理添加 TTS

导入 TTS 类,选择音色和模型,并将其交给您的 AgentSession。只需一个标志位即可开启实时流式传输。

agent.py
1234567
from livekit.plugins.fishaudio import TTS
tts = TTS(
    voice_id="933563129e564b19a115bedd57b7406a",
    model="s2.1-pro-free",
    sample_rate=24000,
    latency_mode="balanced",
)

团队用 Fish Audio 和 LiveKit 构建了什么

戴着耳机的支持代理,正在对着笔记本电脑说话

客户支持代理

实时回答、分流和解决问题的语音代理,在每次通话中保持一致的品牌形象。

坐在桌旁的插画风幻想角色

伙伴与虚拟角色

为游戏、虚拟伙伴和交互式角色提供具有表现力、情感可控的声音。

戴着耳机在笔记本电脑前工作的男子
戴着耳机正在通话的女子
戴眼镜和耳机的女性在办公桌前

多语言助手

一个代理,多个市场。Fish Audio 音色在单个 LiveKit 流水线内即可覆盖世界主流语言。

开始使用 Fish Audio 与 LiveKit 构建

阅读 LiveKit 集成指南,或咨询我们的合作伙伴团队,了解联合营销和共同客户的相关信息。