Klonēšana reāllaikā
Šajā lapā
Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral TTS 3, balstoties uz Migrācija no Voxtral 2 rokasgrāmatu un Mistral Teksts uz runu lapām:
voxtral-mini-tts-2603, kas deprecated 2026. gada 31. oktobrī un izslēgts 2027. gada 30. aprīlī, piemēros tiek aizstāts arvoxtral-mini-tts-3-0. Voxtral 2 iepriekš definētās balsis (gb_jane_neutral…) joprojām tiek pieņemtas; Voxtral 3 tekstā pievieno[emotion=…]un[pace=…]tagus,expressivenessiestatījumu, pielāgotu izrunu (phoneme_hints) un 35 valodas. Mistral iesaka pēc migrācijas atkārtoti izmērīt latentumu. Avoti: Migrācija no Voxtral 2 · Runas ģenerēšana.
Klonēšana bez saglabāšanas
Iepriekšējā nodarbībā paļāvāmies uz saglabātu balsi, kas iepriekš izveidota, izmantojot Voices API un uz kuru atsaucāmies ar tās voice_id. Voxtral piedāvā otru ceļu: klonēšanu reāllaikā, kurā atsauces audio failu norādi tieši ģenerēšanas pieprasījumā. Tavs konts neizveido jaunu objektu: paraugs kalpo tikai šim konkrētajam pieprasījumam un pēc tam tiek dzēsts.
Praksē tu aizstāj voice_id ar ref_audio, kas sagaida audio paraugu, kodētu base64 formātā. Pārējā zvana struktūra paliek nemainīga.
import base64
from pathlib import Path
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Kodē atsauces audio
ref_audio_b64 = base64.b64encode(
Path("reference.mp3").read_bytes()
).decode()
# Ģenerē, izmantojot klonēšanu reāllaikā
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Šī runa atgādinās atsauces balsi.",
ref_audio=ref_audio_b64,
response_format="wav",
)
audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio ģenerēts, izmantojot klonēšanu reāllaikā!")
Trīs scenāriji, kuros šī pieeja izceļas
Pirmais ir prototipēšana. Kad meklē piemērotāko atsauces paraugu, vari izmēģināt desmit, piecpadsmit vai pat vairāk variantus. Tik daudzu balsu izveide tavā kontā nozīmē, ka vēlāk tās būs jāatrod un jādzēš pa vienai. Izmantojot ref_audio, tava testēšanas cikla darbības serverī neatstāj pēdas, ļaujot salīdzināt rezultātus, vienkārši noklausoties iegūtos failus.
# Ātri testē vairākus paraugus
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]
for file in samples:
ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Šis ir balss kvalitātes tests.",
ref_audio=ref_b64,
response_format="mp3",
)
output = f"test-{Path(file).stem}.mp3"
Path(output).write_bytes(base64.b64decode(response.audio_data))
print(f"Ģenerēts: {output}")
Otrais scenārijs ir epizodiska izmantošana. Personificēts dzimšanas dienas sveiciens, izmantojot tuvinieka balsi, vai klienta demonstrācija, sagatavota konkrētai tikšanās reizei: ja balss tiks izmantota tikai vienreiz, nav iemesla to pastāvīgi instalēt savā kontā.
Trešais ir konfidencialitāte. Atsauces audio, kas nosūtīts, izmantojot ref_audio, netiek glabāts serverī. Ja apstrādā pacienta, liecinieka vai vadītāja balsi, šī atšķirība nav tikai kosmētiska: tā maina to, kas jādeklarē tavā datu apstrādes reģistrā, un to, kas jādzēš, saņemot attiecīgu pieprasījumu.
voice_id pret ref_audio: Atšķirības
| Kritērijs | voice_id | ref_audio |
|---|---|---|
| Pastāvīgums | Balss saglabāta kontā | Nav pastāvīguma |
| Atkārtota izmantošana | Neierobežota | Katram pieprasījumam atsevišķi |
| Latentums | Nedaudz ātrāk (balss jau apstrādāta) | Nedaudz lēnāk (apstrāde katrā zvanā) |
| Pārvaldība | Pilns CRUD (modificēt, dzēst) | Nekas nav jāpārvalda |
| Tīkla izmaksas | Tikai voice_id (daži baiti) | Pilns audio katrā pieprasījumā |
| Konfidencialitāte | Audio glabāts mākonī | Audio netiek glabāts |
Lēmuma pieņemšanas noteikums reducējas uz izmantošanas biežumu. Balsoi, ko izmanto katru dienu – piemēram, lietotnes stāstniekam vai zīmola pārstāvim – ir vērts tikt izveidotai ar client.audio.voices.create(): tu ietaupi joslas platumu, nesūtot paraugu ar katru zvanu, un iegūsti laiku, kas citādi tiktu tērēts atsauces apstrādei. Balsij, ko testē vai izmantosi tikai vienreiz, vajadzētu iziet caur ref_audio, neatstājot tev neko, kas būtu jātīra.
Abas pieejas kombinēšana
Šīs divas metodes nav savstarpēji izslēdzošas; visefektīvākā darbplūsma tās izmanto secīgi. Vispirms atrodi pareizo paraugu, izmantojot ref_audio, noklausoties katru rezultātu. Kad kandidāts tevi apmierina, izmanto to pašu base64 virkni – kas jau atrodas operatīvajā atmiņā –, lai izveidotu galīgo balsi, piešķirot tai nosaukumu, valodas un dzimumu.
# 1. fāze: Ātrs tests ar ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
model="voxtral-mini-tts-3-0",
input="Kvalitātes tests.",
ref_audio=ref_b64,
response_format="mp3",
)
# Noklausies rezultātu...
# 2. fāze: Apmierināts? Saglabā balsi
voice = client.audio.voices.create(
name="my-validated-voice",
sample_audio=ref_b64,
sample_filename="my-voice.mp3",
languages=["fr"],
gender="male",
)
print(f"Balss saglabāta: {voice.id}")
Praktizējies ar trim sava balss ierakstiem, kas veikti trīs dažādos apstākļos – austiņu mikrofons, tālrunis, telpa ar atbalss efektu. Ģenerē vienu un to pašu frāzi ar katru no tiem, izmantojot ref_audio, noklausies un pēc tam saglabā tikai uzvarētāju. Desmit minūtēs tu sapratīsi, kas atšķir labu paraugu no slikta, neatstājot aiz sevis trīs nevajadzīgas balsis.
Galvenās atziņas
- Parametrs
ref_audioļauj klonēt balsi, to nesaglabājot - Atsauces audio tiek kodēts base64 formātā un nosūtīts tieši pieprasījumā
- Klonēšana reāllaikā ir ideāla testēšanai, epizodiskai lietošanai un konfidencialitātes nodrošināšanai
- Regulārai lietošanai dod priekšroku saglabātai balsij (mazāks latentums, mazāks joslas platums)
- Tu vari testēt ar
ref_audioun pēc tam saglabāt balsi, kad esi apmierināts