Kloniranje glasa u stvarnom vremenu
Na ovoj stranici
Tečaj ažuriran 3. studenoga 2026. za Voxtral TTS 3, na temelju vodiča Migrate from Voxtral 2 i stranica Mistrala Text to Speech:
voxtral-mini-tts-2603, zastario 31. listopada 2026. i povučen 30. travnja 2027., u primjerima je zamijenjen svoxtral-mini-tts-3-0. Unaprijed definirani glasovi iz Voxtrala 2 (gb_jane_neutral…) i dalje su prihvaćeni; Voxtral 3 dodaje oznake[emotion=…]i[pace=…]u tekst, postavkuexpressiveness, prilagođenu izgovornu pomoć (phoneme_hints) i podršku za 35 jezika. Mistral preporučuje ponovno mjerenje latencije nakon migracije. Izvori: Migrate from Voxtral 2 · Speech generation.
Kloniranje bez spremanja
Prethodna lekcija oslanjala se na spremljeni glas, stvoren unaprijed putem Voices API-ja i referenciran putem njegovog voice_id. Voxtral nudi drugi put: kloniranje u stvarnom vremenu (on-the-fly), gdje referentni audio dostavljaš izravno u zahtjevu za generiranje. Niti jedan objekt ne stvara se na tvom računu: uzorak služi samo tom specifičnom zahtjevu, a zatim se odbacuje.
U praksi zamjenjuješ voice_id s ref_audio, koji očekuje audio uzorak kodiran u base64. Ostatak poziva ostaje nepromijenjen.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Encode the reference audio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generate with on-the-fly cloning
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Tri scenarija u kojima ovaj pristup briljira
Prvi je izrada prototipa. Kada tražiš pravi referentni uzorak, možda ćeš isprobati deset, petnaest ili čak više njih. Stvaranje toliko glasova na tvom računu znači da ćeš ih kasnije morati pronalaziti i brisati jedan po jedan. Uz ref_audio, tvoja testna petlja ne ostavlja trag na poslužitelju, što ti omogućuje usporedbu rendera jednostavnim slušanjem proizvedenih datoteka.
# Quickly test multiple samples
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Drugi scenarij je povremena upotreba. Personalizirana rođendanska poruka glasom voljene osobe ili demo za klijenta pripremljen za specifičan sastanak: ako će se glas koristiti samo jednom, nema razloga trajno ga instalirati na svoj račun.
Treći je povjerljivost. Referentni audio poslan putem ref_audio ne pohranjuje se na poslužitelju. Ako rukuješ glasom pacijenta, svjedoka ili direktora, ta razlika nije kozmetička: ona mijenja ono što moraš prijaviti u svom registru obrade i ono što trebaš izbrisati u slučaju zahtjeva.
voice_id naspram ref_audio: Razlike
| Kriterij | voice_id | ref_audio |
|---|---|---|
| Postojanost | Glas spremljen na računu | Nema postojanosti |
| Ponovna upotreba | Neograničena | Po zahtjevu |
| Latencija | Nešto brže (glas je već obrađen) | Nešto sporije (obrada pri svakom pozivu) |
| Upravljanje | Puni CRUD (modificiraj, obriši) | Ništa za upravljati |
| Mrežni trošak | Samo voice_id (nekoliko bajtova) | Cijeli audio pri svakom zahtjevu |
| Povjerljivost | Audio pohranjen u oblaku | Audio nije pohranjen |
Pravilo odluke svodi se na učestalost korištenja. Glas koji se koristi svaki dan – poput naratora aplikacije ili glasnogovornika brenda – zaslužuje biti stvoren s client.audio.voices.create(): štediš propusnost slanjem uzorka sa svakim pozivom i dobivaš na vremenu obrade reference. Glas koji testiraš ili ćeš koristiti samo jednom trebao bi proći kroz ref_audio, ostavljajući te bez ikakvog čišćenja.
Kombiniranje oba pristupa
Ove dvije metode se međusobno ne isključuju; najučinkovitiji radni tijek stavlja ih u niz. Prvo pronađi pravi uzorak koristeći ref_audio, slušajući svaki rezultat. Jednom kada te kandidat zadovolji, ponovno upotrijebi isti base64 niz – koji je već u memoriji – za stvaranje konačnog glasa, zajedno s njegovim imenom, jezicima i spolom.
# Phase 1: Quick test with ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Listen to the result...
# Phase 2: Satisfied? Save the voice
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Vježbaj s tri vlastita snimka glasa, napravljena pod tri različita uvjeta – mikrofon na slušalicama, mobitel, soba s odjekom. Generiraj istu rečenicu sa svakim putem ref_audio, poslušaj, a zatim spremi samo pobjednika. Za deset minuta naučit ćeš što razlikuje dobar uzorak od lošeg, a da iza sebe ne ostaviš tri beskorisna glasa.
Ključne točke
- Parametar
ref_audioomogućuje ti kloniranje glasa bez njegovog spremanja - Referentni audio kodiran je u base64 i poslan izravno u zahtjevu
- Kloniranje u stvarnom vremenu idealno je za testiranje, povremenu upotrebu i povjerljivost
- Za redovitu upotrebu, preferiraj spremljeni glas (manja latencija, manja potrošnja propusnosti)
- Možeš testirati s
ref_audio, a zatim spremiti glas jednom kada si zadovoljan