Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Klonēšana reāllaikā

Nodarbība 9 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Klonēšana bez saglabāšanas
  2. Trīs scenāriji, kuros šī pieeja izceļas
  3. voice_id pret ref_audio: Atšķirības
  4. Abas pieejas kombinēšana
  5. Galvenās atziņas

Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral TTS 3, balstoties uz Migrācija no Voxtral 2 rokasgrāmatu un Mistral Teksts uz runu lapām: voxtral-mini-tts-2603, kas deprecated 2026. gada 31. oktobrī un izslēgts 2027. gada 30. aprīlī, piemēros tiek aizstāts ar voxtral-mini-tts-3-0. Voxtral 2 iepriekš definētās balsis (gb_jane_neutral…) joprojām tiek pieņemtas; Voxtral 3 tekstā pievieno [emotion=…] un [pace=…] tagus, expressiveness iestatījumu, pielāgotu izrunu (phoneme_hints) un 35 valodas. Mistral iesaka pēc migrācijas atkārtoti izmērīt latentumu. Avoti: Migrācija no Voxtral 2 · Runas ģenerēšana.

Klonēšana bez saglabāšanas

Iepriekšējā nodarbībā paļāvāmies uz saglabātu balsi, kas iepriekš izveidota, izmantojot Voices API un uz kuru atsaucāmies ar tās voice_id. Voxtral piedāvā otru ceļu: klonēšanu reāllaikā, kurā atsauces audio failu norādi tieši ģenerēšanas pieprasījumā. Tavs konts neizveido jaunu objektu: paraugs kalpo tikai šim konkrētajam pieprasījumam un pēc tam tiek dzēsts.

Praksē tu aizstāj voice_id ar ref_audio, kas sagaida audio paraugu, kodētu base64 formātā. Pārējā zvana struktūra paliek nemainīga.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Kodē atsauces audio
ref_audio_b64 = base64.b64encode(
    Path("reference.mp3").read_bytes()
).decode()

# Ģenerē, izmantojot klonēšanu reāllaikā
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Šī runa atgādinās atsauces balsi.",
    ref_audio=ref_audio_b64,
    response_format="wav",
)

audio_bytes = base64.b64decode(response.audio_data)
Path("cloned-output.wav").write_bytes(audio_bytes)
print("Audio ģenerēts, izmantojot klonēšanu reāllaikā!")

Trīs scenāriji, kuros šī pieeja izceļas

Pirmais ir prototipēšana. Kad meklē piemērotāko atsauces paraugu, vari izmēģināt desmit, piecpadsmit vai pat vairāk variantus. Tik daudzu balsu izveide tavā kontā nozīmē, ka vēlāk tās būs jāatrod un jādzēš pa vienai. Izmantojot ref_audio, tava testēšanas cikla darbības serverī neatstāj pēdas, ļaujot salīdzināt rezultātus, vienkārši noklausoties iegūtos failus.

# Ātri testē vairākus paraugus
samples = ["sample1.mp3", "sample2.mp3", "sample3.mp3"]

for file in samples:
    ref_b64 = base64.b64encode(Path(file).read_bytes()).decode()
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="Šis ir balss kvalitātes tests.",
        ref_audio=ref_b64,
        response_format="mp3",
    )
    output = f"test-{Path(file).stem}.mp3"
    Path(output).write_bytes(base64.b64decode(response.audio_data))
    print(f"Ģenerēts: {output}")

Otrais scenārijs ir epizodiska izmantošana. Personificēts dzimšanas dienas sveiciens, izmantojot tuvinieka balsi, vai klienta demonstrācija, sagatavota konkrētai tikšanās reizei: ja balss tiks izmantota tikai vienreiz, nav iemesla to pastāvīgi instalēt savā kontā.

Trešais ir konfidencialitāte. Atsauces audio, kas nosūtīts, izmantojot ref_audio, netiek glabāts serverī. Ja apstrādā pacienta, liecinieka vai vadītāja balsi, šī atšķirība nav tikai kosmētiska: tā maina to, kas jādeklarē tavā datu apstrādes reģistrā, un to, kas jādzēš, saņemot attiecīgu pieprasījumu.

voice_id pret ref_audio: Atšķirības

Kritērijsvoice_idref_audio
PastāvīgumsBalss saglabāta kontāNav pastāvīguma
Atkārtota izmantošanaNeierobežotaKatram pieprasījumam atsevišķi
LatentumsNedaudz ātrāk (balss jau apstrādāta)Nedaudz lēnāk (apstrāde katrā zvanā)
PārvaldībaPilns CRUD (modificēt, dzēst)Nekas nav jāpārvalda
Tīkla izmaksasTikai voice_id (daži baiti)Pilns audio katrā pieprasījumā
KonfidencialitāteAudio glabāts mākonīAudio netiek glabāts

Lēmuma pieņemšanas noteikums reducējas uz izmantošanas biežumu. Balsoi, ko izmanto katru dienu – piemēram, lietotnes stāstniekam vai zīmola pārstāvim – ir vērts tikt izveidotai ar client.audio.voices.create(): tu ietaupi joslas platumu, nesūtot paraugu ar katru zvanu, un iegūsti laiku, kas citādi tiktu tērēts atsauces apstrādei. Balsij, ko testē vai izmantosi tikai vienreiz, vajadzētu iziet caur ref_audio, neatstājot tev neko, kas būtu jātīra.

Abas pieejas kombinēšana

Šīs divas metodes nav savstarpēji izslēdzošas; visefektīvākā darbplūsma tās izmanto secīgi. Vispirms atrodi pareizo paraugu, izmantojot ref_audio, noklausoties katru rezultātu. Kad kandidāts tevi apmierina, izmanto to pašu base64 virkni – kas jau atrodas operatīvajā atmiņā –, lai izveidotu galīgo balsi, piešķirot tai nosaukumu, valodas un dzimumu.

# 1. fāze: Ātrs tests ar ref_audio
ref_b64 = base64.b64encode(Path("my-voice.mp3").read_bytes()).decode()
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Kvalitātes tests.",
    ref_audio=ref_b64,
    response_format="mp3",
)
# Noklausies rezultātu...

# 2. fāze: Apmierināts? Saglabā balsi
voice = client.audio.voices.create(
    name="my-validated-voice",
    sample_audio=ref_b64,
    sample_filename="my-voice.mp3",
    languages=["fr"],
    gender="male",
)
print(f"Balss saglabāta: {voice.id}")

Praktizējies ar trim sava balss ierakstiem, kas veikti trīs dažādos apstākļos – austiņu mikrofons, tālrunis, telpa ar atbalss efektu. Ģenerē vienu un to pašu frāzi ar katru no tiem, izmantojot ref_audio, noklausies un pēc tam saglabā tikai uzvarētāju. Desmit minūtēs tu sapratīsi, kas atšķir labu paraugu no slikta, neatstājot aiz sevis trīs nevajadzīgas balsis.

Galvenās atziņas

  • Parametrs ref_audio ļauj klonēt balsi, to nesaglabājot
  • Atsauces audio tiek kodēts base64 formātā un nosūtīts tieši pieprasījumā
  • Klonēšana reāllaikā ir ideāla testēšanai, epizodiskai lietošanai un konfidencialitātes nodrošināšanai
  • Regulārai lietošanai dod priekšroku saglabātai balsij (mazāks latentums, mazāks joslas platums)
  • Tu vari testēt ar ref_audio un pēc tam saglabāt balsi, kad esi apmierināts