Voice Cloning On-the-Fly
Op deze pagina
Cursus bijgewerkt op 3 november 2026 voor Voxtral TTS 3, gebaseerd op de gids Migrate from Voxtral 2 en de pagina’s Text to Speech van Mistral:
voxtral-mini-tts-2603, verouderd per 31 oktober 2026 en buiten gebruik gesteld op 30 april 2027, wordt in voorbeelden vervangen doorvoxtral-mini-tts-3-0. Vooraf gedefinieerde stemmen van Voxtral 2 (gb_jane_neutral…) blijven geaccepteerd; Voxtral 3 voegt tags[emotion=…]en[pace=…]toe in de tekst, de instellingexpressiveness, aangepaste uitspraak (phoneme_hints) en ondersteuning voor 35 talen. Mistral raadt aan de latentie opnieuw te meten na migratie. Bronnen: Migrate from Voxtral 2 · Speech generation.
Clonen zonder opslaan
De vorige les steunde op een opgeslagen stem, vooraf gemaakt via de Voices API en aangeroepen via zijn voice_id. Voxtral biedt een tweede weg: on-the-fly clonen, waarbij u de referentie-audio rechtstreeks in het generatieverzoek meelevert. Er wordt geen object in uw account aangemaakt: het fragment dient alleen voor dat specifieke verzoek en wordt daarna verwijderd.
In de praktijk vervangt u voice_id door ref_audio, dat verwacht dat het audiofragment base64-gecodeerd is. De rest van de aanroep blijft ongewijzigd.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Codeer de referentie-audio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Genereer met on-the-fly clonen
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Drie scenario’s waarin deze aanpak uitblinkt
Het eerste is prototyping. Wanneer u zoekt naar het juiste referentiefragment, probeert u er misschien tien, vijftien of zelfs meer. Het aanmaken van zoveel stemmen in uw account betekent dat u ze later stuk voor stuk moet opzoeken en verwijderen. Met ref_audio laat uw testlus geen spoor na op de server, zodat u renders eenvoudig kunt vergelijken door naar de geproduceerde bestanden te luisteren.
# Snel meerdere fragmenten testen
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Het tweede scenario is incidenteel gebruik. Een gepersonaliseerd verjaardagsbericht met de stem van een dierbare, of een klantdemo voorbereid voor een specifieke vergadering: als de stem slechts één keer wordt gebruikt, is er geen reden om deze permanent in uw account te installeren.
Het derde is vertrouwelijkheid. Referentie-audio die via ref_audio wordt verzonden, wordt niet op de server opgeslagen. Als u werkt met de stem van een patiënt, een getuige of een leidinggevende, is dit verschil niet louter cosmetisch: het verandert wat u moet declareren in uw verwerkingsregister en wat u moet wissen bij een verzoek daartoe.
voice_id versus ref_audio: de verschillen
| Criterium | voice_id | ref_audio |
|---|---|---|
| Persistentie | Stem opgeslagen in account | Geen persistentie |
| Herbruikbaarheid | Onbeperkt | Per verzoek |
| Latentie | Iets sneller (stem al verwerkt) | Iets langzamer (verwerking bij elke aanroep) |
| Beheer | Volledige CRUD (wijzigen, verwijderen) | Niets te beheren |
| Netwerkkosten | Alleen de voice_id (enkele bytes) | Volledige audio bij elk verzoek |
| Vertrouwelijkheid | Audio opgeslagen in de cloud | Audio niet opgeslagen |
De beslissingsregel komt neer op de gebruiksfrequentie. Een stem die dagelijks wordt gebruikt—zoals een verteller voor een applicatie of een woordvoerder voor een merk—verdient het om te worden aangemaakt met client.audio.voices.create(): u bespaart de bandbreedte van het meezenden van een fragment bij elke aanroep en wint de verwerkingstijd van de referentie. Een stem die u test of slechts één keer gebruikt, loopt beter via ref_audio, zodat u niets hoeft op te ruimen.
Beide benaderingen combineren
Deze twee methoden sluiten elkaar niet uit; de meest effectieve workflow zet ze in volgorde in. Zoek eerst het juiste fragment met ref_audio en luister naar elk resultaat. Zodra een kandidaat u bevalt, hergebruikt u diezelfde base64-tekenreeks—die al in het geheugen zit—om de definitieve stem aan te maken, compleet met naam, talen en geslacht.
# Fase 1: Snelle test met ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Luister naar het resultaat...
# Fase 2: Tevreden? Sla de stem op
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Oefen met drie opnamen van uw eigen stem, gemaakt onder drie verschillende omstandigheden: headsetmicrofoon, telefoon, een ruimte met nagalm. Genereer dezelfde zin met elk fragment via ref_audio, luister en sla vervolgens alleen de winnaar op. Binnen tien minuten leert u wat een goed fragment onderscheidt van een slecht exemplaar, zonder drie nutteloze stemmen achter te laten.
Belangrijkste punten
- De parameter
ref_audiostelt u in staat een stem te clonen zonder deze op te slaan - Referentie-audio wordt base64-gecodeerd en direct in het verzoek verzonden
- On-the-fly clonen is ideaal voor testen, incidenteel gebruik en vertrouwelijkheid
- Voor regelmatig gebruik geeft u de voorkeur aan een opgeslagen stem (lagere latentie, minder bandbreedte)
- U kunt testen met
ref_audioen de stem pas opslaan zodra u tevreden bent