Fish Audio Drama 3: Unser bisher emotionalstes Text-to-Speech-Modell

Drama 3 ist das bisher emotionalste Text-to-Speech-Modell von Fish Audio: deutlich mehr Gefühl als S2.1 Pro und die Nummer 1 im Pronunciation Robustness Benchmark von Artificial Analysis.

13. Oktober 2026 | Drama 3 ist ab heute in Text-to-Speech auf fish.audio, in der Fish Audio App (iOS und Android) und über die API verfügbar. Bis zum 12. November: 80 % Rabatt auf die API und 50 % Rabatt auf neue Creator-Pläne.

Die Kurzfassung:

• Gleiche Richtung, stärkere Performance. Geben Sie Drama 3 die gleichen Anweisungen wie S2.1 Pro, und Sie erhalten Tränen, die echt klingen, mühsam unterdrückte Wut und ein Lachen, das eine ernste Miene durchbricht.
• Es folgt Ihren Anweisungen. Ein Flüstern bleibt ein Flüstern, ein Lachen landet genau dort, wo Sie es platzieren, und die Betonung ändert sich exakt an der Stelle, an der Sie es vorgeben – sogar mitten im Satz.
• Jedes Wort sitzt. Drama 3 ist die Nr. 1 im unabhängigen Pronunciation Robustness Benchmark von Artificial Analysis: 93,2 % schwieriger Wörter, Zahlen und Codes wurden korrekt gelesen, verglichen mit 88,1 % bei S2.1 Pro.
• Open Weights. Betreiben Sie Drama 3 selbst über Hugging Face, kostenlos für die kommerzielle Nutzung, sofern Sie und Ihre verbundenen Unternehmen einen Jahresumsatz von weniger als 500.000 US-Dollar haben (Fish Audio Community License v1.0).

Drama 3 in Text-to-Speech öffnen →

In unserem Launch-Video führt Uncle Roger Regie bei einem KI-Klon seiner eigenen Stimme, der mit seiner Erlaubnis erstellt und verwendet wurde.

Jetzt sind Sie an der Reihe. Die Stimme von Uncle Roger ist auf Fish Audio verfügbar, sodass Sie selbst Regie führen können.

Regie führen bei Uncle Roger in Drama 3 →

Gleiche Anweisung, viel mehr Gefühl

Regieanweisungen werden in eckige Klammern gesetzt, so wie Sie es einem Schauspieler sagen würden. Hier ist ein Satz mit derselben Stimme und derselben Anweisung, zuerst auf S2.1 Pro und dann auf Drama 3.

S2.1 Pro

Drama 3

[barely holding it together, forcing a smile] I'm fine. [shaky breath] Really. [small laugh] [whispering] Go on without me.

Achten Sie darauf, wie das erzwungene Lächeln anhält, während die Stimme bricht, und wie der Atemzug, das Lachen und das Flüstern exakt dort erscheinen, wo sie geschrieben stehen.

Tränen, Wut, Lachen

Dies sind die Gefühle, die Sprachmodelle oft nivellieren. Achten Sie bei jeder Zeile auf die zweite Anweisung: Dort bricht die Stimme, wird leise oder geht in ein Lachen über.

Mit den Tränen kämpfend.

[choked up, crying quietly] I left his jacket by the door. [voice breaking] I keep thinking he'll walk in and ask for it.

Wut unterdrückend.

[through gritted teeth, keeping his voice down] I asked you to do one thing tonight. [slow, dangerously quiet] Just one.

Lachen gegen den eigenen Willen.

[straight-faced, trying very hard to stay serious] No, I love it, it really suits you. [cracking up despite herself] I'm sorry, it's just a very brave haircut.

Es folgt Ihren Anweisungen

Fügen Sie eine neue Anweisung hinzu, wo sich die Stimmung ändert, und die Interpretation ändert sich genau dort.

[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>

Die letzten Wörter befinden sich innerhalb eines Tag-Paares, <emphasis>…</emphasis>, welches nur die Wörter zwischen dem öffnenden und schließenden Tag beeinflusst. Markieren Sie in der Text-to-Speech-Oberfläche die Wörter und wählen Sie einen Tag aus dem Tags-Menü.

Drama 3 spricht 83 Sprachen. Schreiben Sie die Regieanweisung in der Sprache, in der Sie denken; sie muss nicht mit der Sprache des Satzes übereinstimmen.

Anweisung auf Chinesisch

[像是在强忍着眼泪，却努力笑着] I'm fine. Really. Go on without me.

Anweisung auf Spanisch

[conteniendo las lágrimas, pero sonriendo] I'm fine. Really. Go on without me.

Anweisung auf Japanisch

[涙をこらえながら、無理に笑って] I'm fine. Really. Go on without me.

Jedes Wort sitzt weiterhin

Mehr Gefühl hilft nur, wenn die Wörter dabei verständlich bleiben. Artificial Analysis testet dies unabhängig: Der Pronunciation Robustness Benchmark platziert schwierige Wörter in englische Sätze (Zahlen, Codes, Markennamen und kontextabhängige Wörter), und menschliche Zuhörer prüfen jedes Wort. Drama 3 las 93,2 % davon korrekt – der Spitzenplatz in der Rangliste, verglichen mit 88,1 % bei S2.1 Pro.

Die größten Fortschritte gegenüber S2.1 Pro zeigen sich bei Markennamen, Orten und Fachbegriffen sowie bei kontextabhängigen Wörtern; exakte Sequenzen wie Dateipfade und E-Mail-Adressen verbesserten sich ebenfalls von 79,4 % auf 86,3 %.

Rangliste der Pronunciation Robustness ansehen →

Wie Drama 3 gelernt hat, Anweisungen zu befolgen

Sprachmodelle, einschließlich unseres eigenen S2, werden normalerweise mit Belohnungen (Rewards) dafür trainiert, dass sie leicht zu transkribieren sind und klingen wie der Referenz-Clip. Diese Metriken werten ein Lachen oder ein Flüstern oft negativ ab. Drama 3 hingegen wird mit einer einzigen Belohnung trainiert: einem Modell, das lernt, welche Aufnahme Menschen bevorzugen. Dieses Modell berücksichtigt auch das Skript und die Stimme, sodass Genauigkeit und Ähnlichkeit weiterhin zählen; es bestraft lediglich ein Lachen nicht mehr, das Sie explizit angefordert haben. Der technische Bericht enthält die Details.

Wofür Drama 3 gedacht ist

Drama 3 liefert seine beste Arbeit bei geschriebenen Zeilen, die Sie einmal generieren und dauerhaft verwenden.

• Hörbücher und Narration. Drama 3 kann ein Kapitel gleichmäßig lesen, die Stimme an der einen emotionalen Stelle brüchig werden lassen und trotzdem "Kapitel XVII" korrekt aussprechen.
• Hörspiele und Fiction-Podcasts. Ein einziger Satz kann von Panik zu Flüstern und zu einer Drohung wechseln, wie im Beispiel mit der Tür oben.
• Spiele und Animationen. Jede Dialogzeile erhält ihre eigene Regieanweisung: Wut durch zusammengepresste Zähne, ein unterdrücktes Lachen.
• Kurzvideos. Story-Videos und Comedy-Skizzen erhalten ihre Tränen und Pointen genau nach Plan, im Web oder in der Fish Audio App.

"Sprach-KI ist sehr gut darin geworden, Sprache zu erzeugen. Der nächste Schritt ist die Inszenierung einer Performance. Drama 3 ist unser bisher emotionalstes und kontrollierbarstes Modell. Es versetzt Creator auf den Regiestuhl: Beschreiben Sie in einfacher Sprache, was Sie wollen, hören Sie es sich an und passen Sie nur die Momente an, die noch nicht funktionieren. Das ist besonders wichtig bei Langformaten wie Hörbüchern und mehrsprachiger Synchronisation, wo ein falsches Wort nicht bedeuten sollte, dass ein ganzes Kapitel neu generiert werden muss."

— Rissa Cao, Mitbegründerin und CEO von Fish Audio

Drama 3 selbst betreiben

Wie S2 wird auch Drama 3 als Open Weights veröffentlicht, sodass Sie es selbst betreiben können. Es steht unter einer neuen Lizenz, der Fish Audio Community License v1.0: kostenlos für Forschung und nicht-kommerzielle Nutzung sowie kostenlos für die kommerzielle Nutzung, wenn Sie und Ihre verbundenen Unternehmen einen Jahresumsatz von weniger als 500.000 US-Dollar erzielen. Darüber hinaus oder um Drama 3 anderen als TTS-, Voice-Cloning- oder Inferenz-Dienst/API anzubieten, benötigen Sie eine Lizenz von Fish Audio (business@fish.audio). Die Lizenz verbietet zudem das Klonen der Stimme einer realen Person ohne deren Zustimmung. S2 bleibt unter der Fish Audio Research License. Die Weights und die vollständige Lizenz finden Sie auf Hugging Face, der Code ist auf GitHub.

Die meisten kommerziellen Sprachmodelle verraten nicht, wie sie aufgebaut sind. Hier ist die Funktionsweise von Drama 3: Es ist ein großes Modell, das bei jedem Schritt nur einen kleinen Teil von sich selbst nutzt (Mixture-of-Experts), mit einem Speicher, der für lange Skripte und mehrere Voice-Clips geeignet ist. Ein neuer Audio-Decoder, der Codebook-MTP-Decoder, hört während des Prozesses alles bisherige mit, einschließlich Ihres Voice-Clips, während er die feine Textur jedes Klangs ausfüllt. Und wie oben beschrieben, wurde es mit einem Modell trainiert, das menschliche Präferenzen widerspiegelt.

Für Entwickler und Forscher

Abbildung 2 aus dem technischen Bericht. Das Backbone liest den System-Prompt, den Zieltext und dann seine eigenen Audio-Frames, jeweils als fusioniertes Embedding seiner Codes 0 und 1. Der Codebook-MTP-Decoder läuft über jede Position oberhalb des Hidden State des Backbones. Seine vier gemeinsamen Schichten nehmen diesen State, den vorhergesagten Code 0 und die Codes 2–9 des Input-Frames auf, die das Backbone umgehen. Die MTP-Schichten 1–9 sagen dann die restlichen Codes nacheinander voraus. Codes werden überall dort vorhergesagt, wo das nächste Token ein Audio-Frame ist; jede Schicht arbeitet kausal entlang der Zeitachse, und der Audio-Tokenizer-Decoder wandelt die zehn Codes in eine Wellenform um.

• Backbone. 35B-Parameter Mixture-of-Experts, ca. 3B aktive Parameter pro Token (8 von 256 routed Experts plus ein gemeinsamer), initialisiert aus dem Sprachmodell von Qwen3.5-35B-A3B.
• Hybrid Attention. 40 Schichten in Blöcken aus drei Gated DeltaNet-Schichten und einer Gated Full-Attention-Schicht. Die DeltaNet-Schichten speichern den Verlauf in einem State konstanter Größe; nur jede vierte Schicht nutzt einen KV-Cache.
• Codebook-MTP-Decoder. Ersetzt das Per-Frame Fast AR von S2. Vier gemeinsame Schichten speisen neun Schichten voller Breite (eine pro akustischem Codebook 1–9), und jede Schicht arbeitet kausal über die gesamte Sequenz, einschließlich der feinen Codes des Referenzaudios.
• Partial Codebook Fusion. Nur die Codebooks 0 und 1 werden in das Backbone zurückgeführt (S2 führte alle zehn zurück), um den Exposure Bias zu begrenzen. Die Codes 2–9 gehen direkt in den Decoder.
• Tokenizer. Der von S2, unverändert und basierend auf dem Descript Audio Codec: 44,1 kHz, zehn Codebooks (eins semantisch, neun residual), ca. 21,5 Frames pro Sekunde, voll kausal.
• Training. Drei Pre-Training-Stufen, Instruction Fine-Tuning, dann RL. Jede Aufgabe ist als Konversation im ChatML-Stil formatiert.
• RL. Ein gelerntes Human-Preference-Reward-Modell und keine regelbasierten Belohnungen. GRPO ohne KL-Penalty, 1.536 Prompts × 8 Takes pro Schritt.
• Inferenz. Auf einer H200 dekodiert die Inferenz-Engine einen einzelnen Stream mit 271 Frames pro Sekunde, verglichen mit 177 bei S2, obwohl Drama 3 mehr als siebenmal so viele Parameter hat. Inferenz ist über SGLang-Omni verfügbar.

Der technische Bericht enthält alle Details.

Drama 3 in der API

Jedes Skript in diesem Beitrag funktioniert in der API genau so, wie es hier steht. Setzen Sie den Header model auf drama-3 und fügen Sie das Skript inklusive Tags in text ein:

curl https://api.fish.audio/v1/tts \
  -H "Authorization: Bearer <your-api-key>" \
  -H "Content-Type: application/json" \
  -H "model: drama-3" \
  -d '{
    "text": "[breathless, speaking fast] Just turn off the lights. Stay away from the windows. [voice drops to a terrified whisper] And whatever you hear out there… [slow, deadly serious] <emphasis>do not open that door.</emphasis>",
    "reference_id": "536d3a5e000945adb7038665781a4aca",
    "format": "mp3"
  }' \
  -o door.mp3

Es ist derselbe Endpunkt wie bei S2.1 Pro, daher erfordert der Wechsel einer bestehenden Integration nur eine Header-Änderung. Tags und Parameter finden Sie in der Drama 3 Dokumentation.

API-Key erhalten →

Demnächst verfügbar

Zwei Bearbeitungswerkzeuge befinden sich in einer geschlossenen Testphase, eine Editing-API folgt bald. Hier ist ein erster Vorgeschmack.

Interaktives Editing

Hören Sie sich eine Aufnahme an, sagen Sie Drama 3, was geändert werden soll, und das Modell spielt die Zeile unter Berücksichtigung der vorherigen Aufnahmen erneut ab. Die Anweisung kann relativ sein ("sanfter als die letzte") oder komplett neu.

Der Satz: The results just came in. We didn't make it.

Aufnahme 1: Schwere, entmutigte Traurigkeit

Aufnahme 2: "Sanfter und wärmer als zuvor"

Aufnahme 3: "Eher amüsiert als zuvor; lass den Schmerz weg"

Audio Inpainting

Sie haben eine Aufnahme, die Ihnen gefällt, aber das Skript ändert sich. Markieren Sie das Wort, tippen Sie das neue ein, und Drama 3 generiert nur dieses eine Wort neu – angepasst an Stimme, Stimmung und Tempo der Umgebung. Alles andere bleibt die bereits freigegebene Aufnahme. Hier ist der Satz mit dem Weinen von oben nach einer Änderung eines einzelnen Wortes:

Ich habe seine(n) Mantel Schal an der Tür gelassen. Ich denke ständig, er kommt gleich rein und fragt danach.

Originale Aufnahme

Nach der Bearbeitung (nur "Schal" ist neu)

Launch-Angebot

Für Entwickler: Vom 13. Oktober bis zum 12. November kostet die Drama 3 API 10 $pro Million Zeichen – 80$.

Für Creator: Drama 3 verbraucht dieselben Credits wie S2.1 Pro. Bis zum 12. November gibt es auf einen neuen Plus-, Pro- oder Max-Plan 50 % Rabatt: auf den ersten Monat eines Monatsabos oder das erste Jahr eines Jahresabos. Kommentieren Sie unseren Launch-Post innerhalb der ersten 48 Stunden und wir schenken Ihnen einen kostenlosen Monat Fish Audio Plus.

Aufnahmen variieren, also generieren Sie ein paar und behalten Sie die beste. Wenn eine Aufnahme Ihre Anweisung nicht trifft, posten Sie das Skript auf Discord; dieses Feedback ist uns am wichtigsten.

Bringen Sie Ihr Skript mit. Bringen Sie Ihre Regieanweisungen mit.

Führen Sie bei Ihrem ersten Satz in Drama 3 Regie →