Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

On-the-Fly-Stimmklonierung

Lektion 9 von 14 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Klonieren ohne Speicherung
  2. Drei Szenarien, in denen dieser Ansatz überzeugt
  3. voice_id vs. ref_audio: Die Unterschiede
  4. Kombination beider Ansätze
  5. Kernaussagen

Kurs aktualisiert am 3. November 2026 für Voxtral TTS 3, basierend auf dem Leitfaden Migrate from Voxtral 2 und den Seiten von Mistral zu Text to Speech: voxtral-mini-tts-2603, am 31. Oktober 2026 veraltet und am 30. April 2027 eingestellt, wird in Beispielen durch voxtral-mini-tts-3-0 ersetzt. Die vordefinierten Stimmen von Voxtral 2 (gb_jane_neutral …) bleiben akzeptiert; Voxtral 3 fügt Tags [emotion=…] und [pace=…] im Text, die Einstellung expressiveness, Aussprachehinweise (phoneme_hints) und 35 Sprachen hinzu. Mistral empfiehlt, die Latenz nach der Migration erneut zu messen. Quellen: Migrate from Voxtral 2 · Speech generation.

Klonieren ohne Speicherung

Die vorherige Lektion stützte sich auf eine zuvor gespeicherte Stimme, die über die Voices-API erstellt und über ihre voice_id referenziert wurde. Voxtral bietet einen zweiten Weg: die On-the-Fly-Klonierung, bei der Sie das Referenzaudio direkt in der Generierungsanfrage bereitstellen. Es wird kein Objekt in Ihrem Konto erstellt: Die Probe dient nur diesem spezifischen Aufruf und wird danach verworfen.

In der Praxis ersetzen Sie voice_id durch ref_audio, das das Audiosample erwartet, das in Base64 codiert ist. Der Rest des Aufrufs bleibt unverändert.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Das Referenzaudio codieren
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Generierung mit On-the-Fly-Klonierung
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Diese Rede wird der Referenzstimme ähneln.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio mit On-the-Fly-Klonierung generiert!")

Drei Szenarien, in denen dieser Ansatz überzeugt

Das erste Szenario ist das Prototyping. Wenn Sie nach dem richtigen Referenzsample suchen, können Sie zehn, fünfzehn oder sogar mehr ausprobieren. Die Erstellung so vieler Stimmen in Ihrem Konto bedeutet, dass Sie diese später einzeln finden und löschen müssten. Mit ref_audio hinterlässt Ihr Testzyklus keine Spur auf dem Server, sodass Sie die Ergebnisse einfach durch Anhören der erzeugten Dateien vergleichen können.

# Schneller Test mehrerer Samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="Dies ist ein Test der Sprachqualität.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generiert: {output}")

Das zweite Szenario ist der gelegentliche Einsatz. Eine personalisierte Geburtstagsnachricht in der Stimme eines geliebten Menschen oder eine Kundendemo für ein bestimmtes Meeting: Wenn die Stimme nur einmal verwendet wird, besteht kein Grund, sie dauerhaft im Konto zu installieren.

Das dritte Szenario ist die Vertraulichkeit. Referenzaudio, das über ref_audio gesendet wird, wird nicht auf dem Server gespeichert. Wenn Sie die Stimme eines Patienten, eines Zeugen oder eines Executives verarbeiten, ist dieser Unterschied nicht kosmetisch: Er ändert, was Sie in Ihrem Verarbeitungsregister deklarieren müssen und was Sie im Falle einer Löschungsanfrage entfernen müssen.

voice_id vs. ref_audio: Die Unterschiede

Kriteriumvoice_idref_audio
DauerhaftigkeitStimme im Konto gespeichertKeine Dauerhaftigkeit
WiederverwendbarkeitUnbegrenztPro Aufruf
LatenzEtwas schneller (Stimme bereits verarbeitet)Etwas langsamer (Verarbeitung bei jedem Aufruf)
VerwaltungVolle CRUD (ändern, löschen)Nichts zu verwalten
NetzwerkkostenNur die voice_id (einige Bytes)Volles Audio bei jedem Aufruf
VertraulichkeitAudio in der Cloud gespeichertAudio nicht gespeichert

Die Entscheidungsregel reduziert sich auf die Häufigkeit der Nutzung. Eine Stimme, die täglich verwendet wird – wie ein Applikationsnarrator oder eine Markenbotschafterin – verdient es, mit client.audio.voices.create() erstellt zu werden: Sie sparen die Bandbreite, die für den Versand eines Samples bei jedem Aufruf nötig wäre, und gewinnen die Verarbeitungszeit der Referenz. Eine Stimme, die Sie testen oder nur einmal verwenden, sollte über ref_audio gehen, sodass Sie nichts aufräumen müssen.

Kombination beider Ansätze

Diese beiden Methoden schließen sich nicht aus; der effektivste Workflow setzt sie in einer Sequenz ein. Finden Sie zunächst das richtige Sample mit ref_audio und hören Sie sich jedes Ergebnis an. Sobald ein Kandidat Ihre Erwartungen erfüllt, nutzen Sie dieselbe Base64-Zeichenfolge – die bereits im Speicher liegt –, um die finale Stimme zu erstellen, inklusive Name, Sprachen und Geschlecht.

# Phase 1: Schneller Test mit ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Qualitätstest.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Ergebnis anhören...

# Phase 2: Zufrieden? Stimme speichern
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Stimme gespeichert: {voice.id}")

Üben Sie mit drei Aufnahmen Ihrer eigenen Stimme, die unter drei verschiedenen Bedingungen entstanden sind – Kopfhörer-Mikrofon, Handy, halliger Raum. Generieren Sie mit jedem davon denselben Satz über ref_audio, hören Sie zu und speichern Sie dann nur den Gewinner. In zehn Minuten werden Sie lernen, was ein gutes von einem schlechten Sample unterscheidet, ohne drei unnötige Stimmen im Konto zurückzulassen.

Kernaussagen

  • Der Parameter ref_audio ermöglicht das Klonieren einer Stimme ohne Speicherung
  • Referenzaudio ist Base64-codiert und wird direkt in der Anfrage gesendet
  • On-the-Fly-Klonierung ist ideal für Tests, gelegentliche Nutzung und Vertraulichkeit
  • Für regelmäßige Nutzung ist eine gespeicherte Stimme vorzuziehen (geringere Latenz, weniger Bandbreite)
  • Sie können mit ref_audio testen und die Stimme erst speichern, wenn Sie zufrieden sind