Kloniranje glasu v realnem času
Na tej strani
Posodobitev tečaja z dne 3. novembra 2026 za Voxtral TTS 3, na podlagi vodnika Migrate from Voxtral 2 in strani Mistral Text to Speech: model
voxtral-mini-tts-2603, ki je bil opuščen 31. oktobra 2026 in umaknjen 30. aprila 2027, je v primerih nadomeščen zvoxtral-mini-tts-3-0. Vnaprej določeni glasovi Voxtral 2 (gb_jane_neutral…) so še vedno sprejeti; Voxtral 3 dodaja oznake[emotion=…]in[pace=…]v besedilu, nastavitevexpressiveness, prilagojeno izgovarjavo (phoneme_hints) in podporo za 35 jezikov. Mistral priporoča ponovno merjenje zakasnitve po selitvi. Viri: Migrate from Voxtral 2 · Speech generation.
Kloniranje brez shranjevanja
Prejšnja lekcija je temeljila na shranjenem glasu, ustvarjenem vnaprej prek API-ja Voices in sklicanem z njegovim voice_id. Voxtral ponuja drugo pot: kloniranje v realnem času (on-the-fly), kjer referenčni zvok priskrbiš neposredno v zahtevi za generiranje. V tvojem računu se ne ustvari noben objekt: vzorec služi samo tej specifični zahtevi, nato pa se zavrže.
V praksi voice_id nadomestiš s ref_audio, ki pričakuje zvočni vzorec, kodiran v base64. Preostali del klica ostane nespremenjen.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Kodiraj referenčni zvok
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Generiraj s kloniranjem v realnem času
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This speech will resemble the reference voice.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio generated with on-the-fly cloning!")
Trije scenariji, kjer ta pristop blesti
Prvi je prototipiranje. Ko iščeš pravi referenčni vzorec, jih morda preizkusiš deset, petnajst ali celo več. Ustvarjanje toliko glasov v tvojem računu pomeni, da jih boš kasneje moral poiskati in izbrisati enega za drugim. Z ref_audio tvoja testna zanka na strežniku ne pušča sledi, kar ti omogoča preprosto primerjavo izpisov s poslušanjem ustvarjenih datotek.
# Hitro testiranje več vzorcev
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="This is a voice quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Generated: {output}")
Drugi scenarij je občasna uporaba. Prilagojeno rojstnodnevno sporočilo z glasom ljubljene osebe ali demo za klienta, pripravljen za specifičen sestanek: če boš glas uporabil le enkrat, ga ni smiselno trajno namestiti v svoj račun.
Tretji razlog je zaupnost. Referenčni zvok, poslan prek ref_audio, ni shranjen na strežniku. Če obravnavaš glas pacienta, priče ali vodilnega delavca, ta razlika ni kozmetična: spremeni tisto, kar moraš navesti v registru obdelave, in tisto, kar moraš izbrisati v primeru zahteve.
voice_id proti ref_audio: Razlike
| Merilo | voice_id | ref_audio |
|---|---|---|
| Trajnost | Glas shranjen v računu | Ni trajnosti |
| Ponovna uporaba | Neomejeno | Na zahtevo |
| Zakasnitev | Malo hitreje (glas je že obdelan) | Malo počasneje (obdelava ob vsakem klicu) |
| Upravljanje | Poln CRUD (sprememba, brisanje) | Nič za upravljati |
| Omrežni strošek | Samo voice_id (nekaj bajtov) | Celoten zvok ob vsaki zahtevi |
| Zaupnost | Zvok shranjen v oblaku | Zvok ni shranjen |
Pravilo odločanja se svaja na pogostost uporabe. Glas, ki ga uporabljaš vsak dan – kot je pripovedovalec aplikacije ali glas blagovne znamke – si zasluži, da ga ustvariš s client.audio.voices.create(): prihraniš pasovno širino pošiljanja vzorca ob vsakem klicu in pridobiš čas obdelave reference. Glas, ki ga testiraš ali ga boš uporabil le enkrat, naj gre prek ref_audio, tako da ti ne bo treba ničesar čistiti.
Kombiniranje obeh pristopov
Ti dve metodi se ne izključujeta; najučinkovitejši delovni tok ju postavi v zaporedje. Najprej z ref_audio najdi pravi vzorec in poslušaj vsak rezultat. Ko te kandidat zadovolji, ponovno uporabi isti niz base64 – ki je že v pomnilniku – za ustvarjanje končnega glasu, skupaj z njegovim imenom, jeziki in spolom.
# Faza 1: Hiter test z ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Quality test.",
ref_audio=ref_b64,
response_format="mp3",
)
# Poslušaj rezultat...
# Faza 2: Zadovoljen? Shrani glas
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Voice saved: {voice.id}")
Vadi s tremi posnetki svojega glasu, narejenimi v treh različnih pogojih – mikrofon na slušalkah, telefon, odmevna soba. Generiraj isti stavek z vsakim prek ref_audio, poslušaj in nato shrani le zmagovalca. V desetih minutah se boš naučil, kaj loči dober vzorec od slabega, ne da bi za seboj pustil tri neuporabne glasove.
Ključne ugotovitve
- Parameter
ref_audioti omogoča kloniranje glasu brez shranjevanja - Referenčni zvok je kodiran v base64 in poslan neposredno v zahtevi
- Kloniranje v realnem času je idealno za testiranje, občasno uporabo in zaupnost
- Za redno uporabo raje izberi shranjen glas (manjša zakasnitev, manj pasovne širine)
- Lahko testiraš z
ref_audioin nato shraniš glas, ko si zadovoljen