Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Voice Cloning On-the-Fly

Les 9 van 14 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. Clonen zonder opslaan
  2. Drie scenario’s waarin deze aanpak uitblinkt
  3. voice_id versus ref_audio: de verschillen
  4. Beide benaderingen combineren
  5. Belangrijkste punten

Cursus bijgewerkt op 3 november 2026 voor Voxtral TTS 3, gebaseerd op de gids Migrate from Voxtral 2 en de pagina’s Text to Speech van Mistral: voxtral-mini-tts-2603, verouderd per 31 oktober 2026 en buiten gebruik gesteld op 30 april 2027, wordt in voorbeelden vervangen door voxtral-mini-tts-3-0. Vooraf gedefinieerde stemmen van Voxtral 2 (gb_jane_neutral…) blijven geaccepteerd; Voxtral 3 voegt tags [emotion=…] en [pace=…] toe in de tekst, de instelling expressiveness, aangepaste uitspraak (phoneme_hints) en ondersteuning voor 35 talen. Mistral raadt aan de latentie opnieuw te meten na migratie. Bronnen: Migrate from Voxtral 2 · Speech generation.

Clonen zonder opslaan

De vorige les steunde op een opgeslagen stem, vooraf gemaakt via de Voices API en aangeroepen via zijn voice_id. Voxtral biedt een tweede weg: on-the-fly clonen, waarbij u de referentie-audio rechtstreeks in het generatieverzoek meelevert. Er wordt geen object in uw account aangemaakt: het fragment dient alleen voor dat specifieke verzoek en wordt daarna verwijderd.

In de praktijk vervangt u voice_id door ref_audio, dat verwacht dat het audiofragment base64-gecodeerd is. De rest van de aanroep blijft ongewijzigd.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Codeer de referentie-audio
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Genereer met on-the-fly clonen
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="This speech will resemble the reference voice.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")

Drie scenario’s waarin deze aanpak uitblinkt

Het eerste is prototyping. Wanneer u zoekt naar het juiste referentiefragment, probeert u er misschien tien, vijftien of zelfs meer. Het aanmaken van zoveel stemmen in uw account betekent dat u ze later stuk voor stuk moet opzoeken en verwijderen. Met ref_audio laat uw testlus geen spoor na op de server, zodat u renders eenvoudig kunt vergelijken door naar de geproduceerde bestanden te luisteren.

# Snel meerdere fragmenten testen
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="This is a voice quality test.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Generated: {output}")

Het tweede scenario is incidenteel gebruik. Een gepersonaliseerd verjaardagsbericht met de stem van een dierbare, of een klantdemo voorbereid voor een specifieke vergadering: als de stem slechts één keer wordt gebruikt, is er geen reden om deze permanent in uw account te installeren.

Het derde is vertrouwelijkheid. Referentie-audio die via ref_audio wordt verzonden, wordt niet op de server opgeslagen. Als u werkt met de stem van een patiënt, een getuige of een leidinggevende, is dit verschil niet louter cosmetisch: het verandert wat u moet declareren in uw verwerkingsregister en wat u moet wissen bij een verzoek daartoe.

voice_id versus ref_audio: de verschillen

Criteriumvoice_idref_audio
PersistentieStem opgeslagen in accountGeen persistentie
HerbruikbaarheidOnbeperktPer verzoek
LatentieIets sneller (stem al verwerkt)Iets langzamer (verwerking bij elke aanroep)
BeheerVolledige CRUD (wijzigen, verwijderen)Niets te beheren
NetwerkkostenAlleen de voice_id (enkele bytes)Volledige audio bij elk verzoek
VertrouwelijkheidAudio opgeslagen in de cloudAudio niet opgeslagen

De beslissingsregel komt neer op de gebruiksfrequentie. Een stem die dagelijks wordt gebruikt—zoals een verteller voor een applicatie of een woordvoerder voor een merk—verdient het om te worden aangemaakt met client.audio.voices.create(): u bespaart de bandbreedte van het meezenden van een fragment bij elke aanroep en wint de verwerkingstijd van de referentie. Een stem die u test of slechts één keer gebruikt, loopt beter via ref_audio, zodat u niets hoeft op te ruimen.

Beide benaderingen combineren

Deze twee methoden sluiten elkaar niet uit; de meest effectieve workflow zet ze in volgorde in. Zoek eerst het juiste fragment met ref_audio en luister naar elk resultaat. Zodra een kandidaat u bevalt, hergebruikt u diezelfde base64-tekenreeks—die al in het geheugen zit—om de definitieve stem aan te maken, compleet met naam, talen en geslacht.

# Fase 1: Snelle test met ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Quality test.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Luister naar het resultaat...

# Fase 2: Tevreden? Sla de stem op
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Voice saved: {voice.id}")

Oefen met drie opnamen van uw eigen stem, gemaakt onder drie verschillende omstandigheden: headsetmicrofoon, telefoon, een ruimte met nagalm. Genereer dezelfde zin met elk fragment via ref_audio, luister en sla vervolgens alleen de winnaar op. Binnen tien minuten leert u wat een goed fragment onderscheidt van een slecht exemplaar, zonder drie nutteloze stemmen achter te laten.

Belangrijkste punten

  • De parameter ref_audio stelt u in staat een stem te clonen zonder deze op te slaan
  • Referentie-audio wordt base64-gecodeerd en direct in het verzoek verzonden
  • On-the-fly clonen is ideaal voor testen, incidenteel gebruik en vertrouwelijkheid
  • Voor regelmatig gebruik geeft u de voorkeur aan een opgeslagen stem (lagere latentie, minder bandbreedte)
  • U kunt testen met ref_audio en de stem pas opslaan zodra u tevreden bent