On-the-Fly-Stimmklonierung
Auf dieser Seite
Kurs aktualisiert am 3. November 2026 für Voxtral TTS 3, basierend auf dem Leitfaden Migrate from Voxtral 2 und den Seiten von Mistral zu Text to Speech:
voxtral-mini-tts-2603, am 31. Oktober 2026 veraltet und am 30. April 2027 eingestellt, wird in Beispielen durchvoxtral-mini-tts-3-0ersetzt. Die vordefinierten Stimmen von Voxtral 2 (gb_jane_neutral…) bleiben akzeptiert; Voxtral 3 fügt Tags[emotion=…]und[pace=…]im Text, die Einstellungexpressiveness, Aussprachehinweise (phoneme_hints) und 35 Sprachen hinzu. Mistral empfiehlt, die Latenz nach der Migration erneut zu messen. Quellen: Migrate from Voxtral 2 · Speech generation.
Klonieren ohne Speicherung
Die vorherige Lektion stützte sich auf eine zuvor gespeicherte Stimme, die über die Voices-API erstellt und über ihre voice_id referenziert wurde. Voxtral bietet einen zweiten Weg: die On-the-Fly-Klonierung, bei der Sie das Referenzaudio direkt in der Generierungsanfrage bereitstellen. Es wird kein Objekt in Ihrem Konto erstellt: Die Probe dient nur diesem spezifischen Aufruf und wird danach verworfen.
In der Praxis ersetzen Sie voice_id durch ref_audio, das das Audiosample erwartet, das in Base64 codiert ist. Der Rest des Aufrufs bleibt unverändert.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Das Referenzaudio codieren
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generierung mit On-the-Fly-Klonierung
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Diese Rede wird der Referenzstimme ähneln.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio mit On-the-Fly-Klonierung generiert!")
Drei Szenarien, in denen dieser Ansatz überzeugt
Das erste Szenario ist das Prototyping. Wenn Sie nach dem richtigen Referenzsample suchen, können Sie zehn, fünfzehn oder sogar mehr ausprobieren. Die Erstellung so vieler Stimmen in Ihrem Konto bedeutet, dass Sie diese später einzeln finden und löschen müssten. Mit ref_audio hinterlässt Ihr Testzyklus keine Spur auf dem Server, sodass Sie die Ergebnisse einfach durch Anhören der erzeugten Dateien vergleichen können.
# Schneller Test mehrerer Samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Dies ist ein Test der Sprachqualität.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generiert: {output}")
Das zweite Szenario ist der gelegentliche Einsatz. Eine personalisierte Geburtstagsnachricht in der Stimme eines geliebten Menschen oder eine Kundendemo für ein bestimmtes Meeting: Wenn die Stimme nur einmal verwendet wird, besteht kein Grund, sie dauerhaft im Konto zu installieren.
Das dritte Szenario ist die Vertraulichkeit. Referenzaudio, das über ref_audio gesendet wird, wird nicht auf dem Server gespeichert. Wenn Sie die Stimme eines Patienten, eines Zeugen oder eines Executives verarbeiten, ist dieser Unterschied nicht kosmetisch: Er ändert, was Sie in Ihrem Verarbeitungsregister deklarieren müssen und was Sie im Falle einer Löschungsanfrage entfernen müssen.
voice_id vs. ref_audio: Die Unterschiede
| Kriterium | voice_id | ref_audio |
|---|---|---|
| Dauerhaftigkeit | Stimme im Konto gespeichert | Keine Dauerhaftigkeit |
| Wiederverwendbarkeit | Unbegrenzt | Pro Aufruf |
| Latenz | Etwas schneller (Stimme bereits verarbeitet) | Etwas langsamer (Verarbeitung bei jedem Aufruf) |
| Verwaltung | Volle CRUD (ändern, löschen) | Nichts zu verwalten |
| Netzwerkkosten | Nur die voice_id (einige Bytes) | Volles Audio bei jedem Aufruf |
| Vertraulichkeit | Audio in der Cloud gespeichert | Audio nicht gespeichert |
Die Entscheidungsregel reduziert sich auf die Häufigkeit der Nutzung. Eine Stimme, die täglich verwendet wird – wie ein Applikationsnarrator oder eine Markenbotschafterin – verdient es, mit client.audio.voices.create() erstellt zu werden: Sie sparen die Bandbreite, die für den Versand eines Samples bei jedem Aufruf nötig wäre, und gewinnen die Verarbeitungszeit der Referenz. Eine Stimme, die Sie testen oder nur einmal verwenden, sollte über ref_audio gehen, sodass Sie nichts aufräumen müssen.
Kombination beider Ansätze
Diese beiden Methoden schließen sich nicht aus; der effektivste Workflow setzt sie in einer Sequenz ein. Finden Sie zunächst das richtige Sample mit ref_audio und hören Sie sich jedes Ergebnis an. Sobald ein Kandidat Ihre Erwartungen erfüllt, nutzen Sie dieselbe Base64-Zeichenfolge – die bereits im Speicher liegt –, um die finale Stimme zu erstellen, inklusive Name, Sprachen und Geschlecht.
# Phase 1: Schneller Test mit ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Qualitätstest.",
ref_audio=ref_b64,
response_format="mp3",
)
# Ergebnis anhören...
# Phase 2: Zufrieden? Stimme speichern
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Stimme gespeichert: {voice.id}")
Üben Sie mit drei Aufnahmen Ihrer eigenen Stimme, die unter drei verschiedenen Bedingungen entstanden sind – Kopfhörer-Mikrofon, Handy, halliger Raum. Generieren Sie mit jedem davon denselben Satz über ref_audio, hören Sie zu und speichern Sie dann nur den Gewinner. In zehn Minuten werden Sie lernen, was ein gutes von einem schlechten Sample unterscheidet, ohne drei unnötige Stimmen im Konto zurückzulassen.
Kernaussagen
- Der Parameter
ref_audioermöglicht das Klonieren einer Stimme ohne Speicherung - Referenzaudio ist Base64-codiert und wird direkt in der Anfrage gesendet
- On-the-Fly-Klonierung ist ideal für Tests, gelegentliche Nutzung und Vertraulichkeit
- Für regelmäßige Nutzung ist eine gespeicherte Stimme vorzuziehen (geringere Latenz, weniger Bandbreite)
- Sie können mit
ref_audiotesten und die Stimme erst speichern, wenn Sie zufrieden sind