Fish Audio Drama 3 : Le modèle de synthèse vocale le plus expressif que nous ayons conçu

Drama 3 est le modèle de synthèse vocale le plus expressif de Fish Audio : bien plus d'émotion que S2.1 Pro, et numéro 1 au banc d'essai de robustesse de prononciation d'Artificial Analysis.

13 octobre 2026 | Drama 3 est disponible dès aujourd'hui dans Text to Speech sur fish.audio, l'application Fish Audio (iOS et Android) et l'API. Jusqu'au 12 novembre : -80 % sur l'API et -50 % sur les nouveaux forfaits créateurs.

En résumé :

• Même direction, performance accrue. Donnez à Drama 3 les mêmes consignes qu'à S2.1 Pro et vous obtiendrez des larmes qui sonnent vrai, une colère contenue ou un rire qui éclate malgré un visage impassible.
• Il suit vos directives. Un murmure reste un murmure, un rire tombe pile au bon moment et le ton change exactement là où vous le demandez, même au milieu d'une phrase.
• Chaque mot compte. Drama 3 est n°1 du classement indépendant de robustesse de prononciation d'Artificial Analysis : 93,2 % des mots difficiles, chiffres et codes lus correctement, contre 88,1 % pour S2.1 Pro.
• Poids ouverts. Exécutez Drama 3 vous-même depuis Hugging Face, gratuit pour un usage commercial si vous et vos affiliés générez moins de 500 000 $ US de revenus annuels (Fish Audio Community License v1.0).

Ouvrir Drama 3 dans Text to Speech →

Dans notre vidéo de lancement, Uncle Roger dirige un clone IA de sa propre voix, créé et utilisé avec sa permission.

À votre tour maintenant. La voix d'Uncle Roger est disponible sur Fish Audio, vous pouvez donc le diriger vous-même.

Diriger Uncle Roger dans Drama 3 →

Même consigne, beaucoup plus d'émotion

La direction se place entre crochets, écrite comme vous le diriez à un acteur. Voici une ligne, avec la même voix et la même consigne, sur S2.1 Pro puis sur Drama 3.

S2.1 Pro

Drama 3

[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me.

Écoutez le sourire forcé qui persiste alors que la voix craque, ainsi que le souffle, le rire et le murmure qui interviennent exactement là où ils sont écrits.

Larmes, colère, rire

Ce sont les émotions que les modèles de parole ont le plus tendance à lisser. Dans chaque ligne, écoutez la deuxième consigne : c'est là que la voix se brise, s'éteint ou laisse place à un rire.

Voix étranglée.

[choked up, crying quietly] I left his jacket by the door. [voice breaking] I keep thinking he'll walk in and ask for it.

Colère contenue.

[through gritted teeth, keeping his voice down] I asked you to do one thing tonight. [slow, dangerously quiet] Just one.

Rire malgré soi.

[straight-faced, trying very hard to stay serious] No, I love it, it really suits you. [cracking up despite herself] I'm sorry, it's just a very brave haircut.

Il suit vos directives

Ajoutez de nouvelles consignes là où l'ambiance change, et l'interprétation s'adaptera instantanément.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>

Les derniers mots sont placés dans une balise appariée, <emphasis>…</emphasis>, qui ne dirige que les mots entre les balises d'ouverture et de fermeture. Dans Text to Speech, sélectionnez les mots et choisissez une balise dans le menu Tags.

Drama 3 parle 83 langues. Écrivez la consigne dans la langue dans laquelle vous réfléchissez ; elle n'a pas besoin de correspondre à la langue de la phrase.

Consigne en chinois

[像是在强忍着眼泪，却努力笑着] I'm fine. Really. Go on without me.

Consigne en espagnol

[conteniendo las lágrimas, pero sonriendo] I'm fine. Really. Go on without me.

Consigne en japonais

[涙をこらえながら、無理に笑って] I'm fine. Really. Go on without me.

Chaque mot compte

L'émotion n'est utile que si les mots restent audibles. Artificial Analysis teste cela de manière indépendante : son banc d'essai Pronunciation Robustness insère des mots difficiles dans des phrases en anglais (chiffres, codes, noms de marques et mots dont la lecture dépend du contexte), et des auditeurs humains vérifient chaque mot. Drama 3 en a lu 93,2 % correctement, le meilleur score du classement, contre 88,1 % pour S2.1 Pro.

Les gains les plus importants par rapport à S2.1 Pro concernent les noms de marques, de lieux et les termes techniques, ainsi que les mots dépendant du contexte ; les séquences exactes comme les chemins de fichiers et les adresses e-mail s'améliorent également, passant de 79,4 % à 86,3 %.

Voir le classement de robustesse de prononciation →

Comment Drama 3 a appris à suivre des directives

Les modèles de parole, y compris notre propre S2, sont généralement ajustés avec des récompenses basées sur la facilité de transcription et la ressemblance avec le clip de référence. Ces scores pénalisent souvent un rire ou un murmure. Drama 3 est quant à lui ajusté avec une seule récompense : un modèle basé sur les préférences humaines. Ce modèle entend également le script et la voix, donc la précision et la ressemblance comptent toujours ; il ne punit simplement pas un rire que vous avez demandé. Le rapport technique contient tous les détails.

À quoi sert Drama 3 ?

Drama 3 donne le meilleur de lui-même sur des répliques scénarisées que vous générez une fois et conservez.

• Livres audio et narration. Drama 3 peut lire un chapitre de manière uniforme, laisser sa voix s'étrangler sur la réplique qui doit faire mal, tout en prononçant correctement « Chapitre XVII ».
• Audio-drames et podcasts de fiction. Une seule phrase peut passer de la panique au murmure, puis à la menace, comme dans l'exemple de la porte ci-dessus.
• Jeux vidéo et animation. Chaque ligne de dialogue reçoit sa propre direction : une colère à travers les dents serrées, un rire irrépressible.
• Vidéos courtes. Les vidéos narratives et les sketchs comiques obtiennent leurs larmes et leurs chutes au bon moment, sur le web ou dans l'application Fish Audio.

« L'IA vocale est devenue très douée pour générer de la parole. L'étape suivante est de diriger une performance. Drama 3 est notre modèle le plus expressif et contrôlable à ce jour. Il place les créateurs dans le fauteuil du réalisateur : décrivez ce que vous voulez en langage clair, écoutez et ajustez uniquement les moments qui ne fonctionnent pas. C'est crucial pour les projets longs comme les livres audio et le doublage multilingue, où un mot mal prononcé ne devrait pas obliger à régénérer tout un chapitre. »

— Rissa Cao, co-fondatrice et PDG de Fish Audio

Exécutez Drama 3 vous-même

Comme S2, Drama 3 est publié en poids ouverts, vous pouvez donc l'exécuter vous-même. Il est proposé sous une nouvelle licence, la Fish Audio Community License v1.0 : gratuit pour la recherche et l'usage non commercial, et gratuit pour l'usage commercial si vous et vos affiliés générez moins de 500 000 $ US de revenus annuels. Au-delà, ou pour proposer Drama 3 comme service TTS, de clonage vocal ou d'inférence, une licence de Fish Audio est requise (business@fish.audio). La licence interdit également le clonage de la voix d'une personne réelle sans son consentement. S2 reste sous la Fish Audio Research License. Les poids et la licence complète sont sur Hugging Face, et le code est sur GitHub.

La plupart des modèles vocaux commerciaux ne révèlent pas leur conception. Voici comment Drama 3 fonctionne. C'est un grand modèle qui n'utilise qu'une petite partie de lui-même à chaque étape, avec une mémoire adaptée aux scripts longs et à plusieurs clips vocaux. Un nouveau décodeur audio, le décodeur codebook-MTP, réécoute tout ce qui a été généré, y compris votre clip vocal, pour affiner la texture de chaque son. Et comme décrit précédemment, il a été ajusté selon les préférences humaines.

Pour les développeurs et les chercheurs

Figure 2 du rapport technique. L'épine dorsale (backbone) lit le prompt système, le texte cible, puis ses propres trames audio. Le décodeur codebook-MTP s'exécute sur chaque position au-dessus de l'état caché de l'épine dorsale. Ses quatre couches partagées prennent cet état, le code 0 prédit et les codes 2 à 9 de la trame d'entrée, qui contournent l'épine dorsale, puis les couches MTP 1 à 9 prédisent les codes restants un par un. Le décodeur du tokenizer audio transforme les dix codes en une forme d'onde.

• Backbone. Mixture-of-experts de 35 milliards de paramètres, environ 3 milliards actifs par jeton, initialisé à partir du modèle de langage Qwen3.5-35B-A3B.
• Attention hybride. 40 couches organisées en blocs de trois couches Gated DeltaNet et une couche d'attention complète. Les couches DeltaNet transportent l'historique dans un état de taille constante ; seule une couche sur quatre conserve un cache KV.
• Décodeur Codebook-MTP. Remplace le Fast AR par trame de S2. Quatre couches partagées alimentent neuf couches de pleine largeur, une par dictionnaire acoustique (1-9), et chaque couche traite de manière causale toute la séquence.
• Fusion partielle de dictionnaires. Seuls les dictionnaires 0 et 1 sont réinjectés dans le backbone (S2 réinjectait les dix), pour limiter le biais d'exposition. Les codes 2 à 9 vont directement au décodeur.
• Tokenizer. Celui de S2, inchangé, basé sur Descript Audio Codec : 44,1 kHz, dix dictionnaires, environ 21,5 trames par seconde, entièrement causal.
• Entraînement. Trois étapes de pré-entraînement, réglage fin par instructions, puis RL. Chaque tâche est rédigée comme une conversation au format ChatML.
• RL. Un modèle de récompense basé sur les préférences humaines apprises, sans récompenses basées sur des règles. GRPO sans pénalité KL, 1 536 prompts × 8 prises par étape.
• Inférence. Sur un H200, le moteur d'inférence décode un flux unique à 271 trames par seconde, contre 177 pour S2, bien que Drama 3 possède sept fois plus de paramètres. L'inférence est disponible via SGLang-Omni.

Le rapport technique contient tous les détails.

Drama 3 dans l'API

Chaque script de cet article fonctionne dans l'API tel quel. Définissez l'en-tête model sur drama-3 et placez le script, balises incluses, dans text :

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer <your-api-key>" \
  -H "Content-Type: application/json" \
  -H "model: drama-3" \
  -d '{
    "text": "[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>",
    "reference_id": "536d3a5e000945adb7038665781a4aca",
    "format": "mp3"
  }' \
  -o door.mp3

C'est le même point de terminaison que S2.1 Pro, donc passer d'une intégration existante ne nécessite qu'un changement d'en-tête. Les balises et paramètres sont dans la documentation Drama 3.

Obtenir une clé API →

Prochainement

Deux outils d'édition sont en test restreint sur invitation, et une API d'édition arrive bientôt. Voici un premier aperçu.

Édition interactive

Écoutez une prise, dites à Drama 3 ce qu'il faut changer, et il rejoue la ligne en tenant compte des prises précédentes. La consigne peut être relative (« plus doux que celle-là ») ou complètement nouvelle.

La ligne : The results just came in. We didn't make it.

Prise 1 : tristesse lourde et abattue

Prise 2 : « plus doux et chaleureux par rapport à la précédente »

Prise 3 : « plus amusé qu'avant ; enlève la douleur »

Audio Inpainting

Vous avez une prise qui vous plaît, mais le script change. Marquez le mot, tapez le nouveau, et Drama 3 régénère uniquement ce mot, en l'adaptant à la voix, à l'humeur et au rythme environnants. Le reste de la prise demeure inchangé. Voici la ligne de pleurs ci-dessus après la modification d'un seul mot :

J'ai laissé sa veste écharpe près de la porte. Je n'arrête pas de penser qu'il va entrer et la demander.

Prise originale

Après l'édition (seul « écharpe » est nouveau)

Offre de lancement

Pour les développeurs : du 13 octobre au 12 novembre, l'API Drama 3 est à 10 $par million de caractères, soit une réduction de 80$.

Pour les créateurs : Drama 3 coûte le même nombre de crédits que S2.1 Pro. Jusqu'au 12 novembre, tout nouveau forfait Plus, Pro ou Max est à -50 % : votre premier mois sur un forfait mensuel, ou votre première année sur un forfait annuel. Commentez notre publication de lancement dans les premières 48 heures et nous vous offrirons un mois gratuit de Fish Audio Plus.

Les prises varient, alors générez-en quelques-unes et gardez celle qui convient. Si une prise ne respecte pas votre consigne, postez le script sur Discord ; c'est le type de retour qui nous aide le plus.

Apportez votre script. Apportez votre vision.

Dirigez votre première ligne dans Drama 3 →