Häälte kloonimine reaalajas
Sellel lehel
Kursust uuendati 3. novembril 2026 Voxtral TTS 3 jaoks, tuginedes juhendile Migrate from Voxtral 2 ja Mistrali lehele Text to Speech:
voxtral-mini-tts-2603, mis tunnistati 31. oktoobril 2026 iganenuks ja eemaldatakse kasutusest 30. aprillil 2027, on näidetes asendatud mudeligavoxtral-mini-tts-3-0. Voxtral 2 eelmääratud hääled (gb_jane_neutral…) on endiselt toetatud; Voxtral 3 lisab teksti sisse sildid[emotion=…]ja[pace=…], seadistuseexpressiveness, kohandatud häälduse (phoneme_hints) ning toetab 35 keelt. Mistral soovitab pärast üleminekut latentsusaeg uuesti mõõta. Allikad: Migrate from Voxtral 2 · Kõne genereerimine.
Kloonimine ilma salvestamata
Eelmine tund tugines eelnevalt Voices API kaudu loodud ja voice_id abil viidatud salvestatud häälele. Voxtral pakub teist teed: kloonimine reaalajas, kus edastad võrdlusaudio otse genereerimispäringus. Sinu kontole ei looda ühtegi objekti: näidis teenib ainult seda konkreetset päringut ja seejärel kustutatakse.
Praktikas asendad voice_id parameetri ref_audio-ga, mis eeldab base64-kodeeringus audionäidist. Ülejäänud väljakutse jääb muutumatuks.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Kodeeri võrdlusaudio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Genereeri reaalajas kloonimisega
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="See kõne sarnaneb võrdlushäälega.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio genereeriti reaalajas kloonimisega!")
Kolm stsenaariumi, kus see lähenemine hiilgab
Esimene on prototüüpimine. Kui otsid õiget võrdlusnäidist, võid proovida kümmet, viisteist või isegi rohkem varianti. Nii paljude häälte loomine sinu kontole tähendab, et hiljem pead need ükshaaval üles leidma ja kustutama. Kasutades ref_audio, ei jäta sinu testitsükkel serverisse jälgi, võimaldades tulemusi võrrelda lihtsalt genereeritud faile kuulates.
# Testi kiiresti mitut näidist
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="See on häälekvaliteedi test.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Genereeritud: {output}")
Teine stsenaarium on juhuslik kasutamine. Kas soovid luua isikupärastatud sünnipäevasoovi lähedase häälega või ette valmistada kliendile demo kindlaks koosolekuks? Kui häält kasutatakse vaid korra, pole mõtet seda oma kontole püsivalt installida.
Kolmas on konfidentsiaalsus. Parameetri ref_audio kaudu saadetud võrdlusaudiot serveris ei salvestata. Kui töötled patsiendi, tunnistaja või juhi häält, pole see erinevus pelgalt kosmeetiline: see muudab seda, mida pead deklareerima oma töötlemisregistris, ja seda, mida tuleb kustutamistaotluse korral eemaldada.
voice_id vs ref_audio: erinevused
| Kriterium | voice_id | ref_audio |
|---|---|---|
| Püsivus | Hääl salvestatakse kontole | Ei säili |
| Uuesti kasutatavus | Piiramatu | Ühe päringu kohta |
| Latentsus | Veidi kiirem (hääl on juba töödeldud) | Veidi aeglasem (töötlemine iga väljakutse korral) |
| Haldus | Täielik CRUD (muutmine, kustutamine) | Midagi hallata pole |
| Võrgukulu | Ainult voice_id (mõned baitid) | Täielik audio iga päringuga |
| Konfidentsiaalsus | Audio salvestatakse pilve | Audiot ei salvestata |
Otsustusreegel taandub kasutamise sagedusele. Häält, mida kasutatakse iga päev – näiteks rakenduse jutustaja või brändi esindaja –, tasub luua funktsiooniga client.audio.voices.create(): säädad ribalaiust, mida kulub näidise saatmiseks iga väljakutse korral, ja võidad võrdluse töötlemiseks kuluvat aega. Hääl, mida testid või kasutad vaid korra, peaks läbima ref_audio, jätmata sulle midagi koristada.
Mõlema lähenemise kombineerimine
Need kaks meetodit ei välista teineteist; kõige tõhusam töövoog paneb need järjestikku kasutama. Esmalt leiad ref_audio abil õige näidise, kuulates iga tulemust. Kui kandidaat sind rahuldab, kasuta sama base64-stringi – mis on juba mälus –, et luua lõplik hääl koos selle nime, keelte ja sooga.
# 1. faas: Kiire test ref_audio-ga
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Kvaliteeditest.",
ref_audio=ref_b64,
response_format="mp3",
)
# Kuula tulemust...
# 2. faas: Rahul? Salvesta hääl
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Hääl salvestatud: {voice.id}")
Harjuta kolme oma hääle salvestusega, mis on tehtud kolmes erinevas tingimuses – peakomplekti mikrofon, telefon, kaja ruum. Genereeri igaühega ref_audio kaudu sama fraas, kuula ja salvesta alles seejärel ainult võitja. Kümne minutiga saad aru, mis eristab head näidist halvast, jätmata maha kolme kasutut häält.
Peamised punktid
- Parameeter
ref_audiovõimaldab häält kloonida ilma seda salvestamata - Võrdlusaudio kodeeritakse base64-formaati ja saadetakse otse päringus
- Reaalajas kloonimine on ideaalne testimiseks, juhuslikuks kasutamiseks ja konfidentsiaalsuse tagamiseks
- Regulaarseks kasutamiseks eelista salvestatud häält (väiksem latentsus, vähem ribalaiust)
- Saad testida
ref_audio-ga ja seejärel hääle salvestada, kui oled tulemusega rahul