Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Ģenerēšana: pamati

Nodarbība 8 no 14 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Tava pirmā balss ģenerēšana
  2. Ko kontrolē katrs parametrs
  3. Mērogošana: audiogrāmatas nodaļa
  4. Kad ģenerēšana neizdodas
  5. Galvenās atziņas

Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral TTS 3, balstoties uz Migrate from Voxtral 2 rokasgrāmatu un Mistral Text to Speech lapām: voxtral-mini-tts-2603, kas deprecated 2026. gada 31. oktobrī un izslēgts 2027. gada 30. aprīlī, piemēros tiek aizstāts ar voxtral-mini-tts-3-0. Iepriekš definētās Voxtral 2 balsis (gb_jane_neutral…) joprojām tiek pieņemtas; Voxtral 3 pievieno [emotion=…] un [pace=…] tagus tekstā, expressiveness iestatījumu, pielāgotu izrunu (phoneme_hints) un 35 valodas. Mistral iesaka pēc migrācijas atkārtoti izmērīt latentumu. Avoti: Migrate from Voxtral 2 · Speech generation.

Tava pirmā balss ģenerēšana

Tagad tu zini, kā izveidot balsi un pārvaldīt to, izmantojot Voices API. Pēdējais solis ir paveikt to, kam viss šis darbs bija domāts: radīt audio. Mistral runas API reducējas uz vienu vienīgu izsaukumu – client.audio.speech.complete(), kas pieņem tekstu un balss ID un atgriež audio, kodētu base64 formātā. Šī nodarbība aptver pamata ģenerēšanu, izmantojot saglabātu balsi; klonēšana reālā laikā un straumēšana tiks aplūkotas nākamajās nodarbībās.

Zemāk esošais kods ir viss, kas tev nepieciešams, lai pārvērstu teikumu MP3 failā savā diskā. Pievērs īpašu uzmanību pēdējam solim: atbilde nesatur neapstrādātus audio baitus, kurus vari izmantot tieši, bet gan base64 virkni, kas ir jāatšifrē (decode), pirms faila ierakstīšanas. Šī ir klasiska kļūda iesācējiem – virknes saglabāšana tādā formātā, kādā tā ir, liegs audio atskaņotājiem to atvērt.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Ģenerē runu, izmantojot saglabātu balsi
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Hello and welcome to this course on Voxtral TTS.",
    voice_id="your-voice-id",
    response_format="mp3",
)

# Atšifrē base64 un saglabā failā
audio_bytes = base64.b64decode(response.audio_data)
Path("output.mp3").write_bytes(audio_bytes)
print(f"Audio generated: {len(audio_bytes)} bytes")

Ko kontrolē katrs parametrs

Parametrs model norāda sintēzes modeli. Šobrīd pieejams ir tikai voxtral-mini-tts-3-0, taču vienmēr norādi to eksplicīti: kad parādīsies citi modeļi, tavs kods turpinās ģenerēt tieši tādu pašu balsi, kādu tas dara šodien.

Parametrs input pieņem tekstu, kas jāizrunā, un tas ir parametrs, kam jāveltī vislielākā uzmanība. Voxtral 2 dokumentācija iesaka nepārsniegt 300 vārdus vienā pieprasījumā; Voxtral TTS 3 dokumentācija vairs nenosaka limitu, taču pieprasījumi, kas satur vienu rindkopu, joprojām ir vieglāk kontrolējami un atkārtojami. Izvairies no emodžiem, kurus modelis nevar interpretēt, kā arī no sarežģīta formatējuma – Markdown, HTML, speciālajām zīmēm –, jo tie tiks nolasīti burtiski. Visbeidzot, raksti skaitļus un saīsinājumus pilnībā: „twenty-three” nevis „23”, „Limited Liability Company” nevis „LLC”. Balss aģents, kas paklūp pār skaitļiem, paziņojot summu, zaudē ticamību viena teikuma laikā.

voice_id identificē izmantoto balsi. To vari iegūt trīs veidos: izveidojot balsi ar client.audio.voices.create() (sk. 5. nodarbību), uzskaitot esošās balsis ar client.audio.voices.list() vai atkārtoti izmantojot Mistral profesionālās balss ID. Visbeidzot, response_format nosaka izejas formātu starp mp3, wav, pcm, flac un opus. Šī izvēle ietekmē gan faila lielumu, gan latentumu, un 12. nodarbība ir veltīta tieši šim jautājumam.

Mērogošana: audiogrāmatas nodaļa

Nedaudz garākiem tekstiem sadalīšana joprojām ir labākā prakse. Princips ir vienkāršs: sagatavo rindkopu sarakstu, ģenerē katru atsevišķi, pēc tam uzkrāj atšifrētos baitus vienā buferī, pirms ieraksti gala failu.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
voice_id = "your-voice-id"

# Teksts, sadalīts rindkopās
paragraphs = [
    "First paragraph of the chapter. The narrator introduces the context.",
    "Second paragraph. The action begins to develop.",
    "Third paragraph. Suspense builds gradually.",
]

full_audio = b""

for i, text in enumerate(paragraphs):
    print(f"Generating segment {i + 1}/{len(paragraphs)}...")
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=text,
        voice_id=voice_id,
        response_format="wav",
    )
    full_audio += base64.b64decode(response.audio_data)

Path("chapter-01.wav").write_bytes(full_audio)
print("Audio chapter generated successfully!")

Šis skripts strādā, jo tas ģenerē WAV – nesaspiestu formātu, kura segmentus var savienot galu pie gala bez īpašas apstrādes. Mēģini to pašu ar MP3 vai Opus, un rezultāts būs nelietojams: šie saspiestie formāti satur galvenes un kadru struktūras, ko neapstrādāta savienošana sabojā. Tā vietā izmanto bibliotēku, piemēram, pydub, kas atšifrē katru segmentu, pirms tos tīri apvieno.

Kad ģenerēšana neizdodas

Produkcijas vidē tev ir jāaizsargā šis izsaukums. voice_id, ko vakar dzēsis kolēģis; teksts, kas klusi kļūst garāks, jo tika apvienots lauks; API kvota, kas izsmelta mēneša beigās; nepareizi uzrakstīts izejas formāts: katra no šīm situācijām izraisa izņēmumu, un bez drošības mehānismiem tava partijas apstrāde apstāsies korpusa vidū.

try:
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="Text to convert to speech.",
        voice_id=voice_id,
        response_format="mp3",
    )
    audio_bytes = base64.b64decode(response.audio_data)
    Path("output.mp3").write_bytes(audio_bytes)
except Exception as e:
    print(f"Error during generation: {e}")

Velti laiku, lai pārbaudītu šo kļūdu ceļu pirms došanās produkcijā: apzināti ģenerē ar nepareizu voice_id un pārliecinies, ka tava lietotne to skaidri signalizē, nevis rada tukšu failu.

Galvenās atziņas

  • Ģenerēšana izmanto client.audio.speech.complete() ar modeli voxtral-mini-tts-3-0
  • Sadi garos tekstus rindkopās un izvairies no emodžiem un formatējuma
  • Raksti skaitļus un saīsinājumus pilnībā, lai nodrošinātu pareizu izrunu
  • Atgrieztie audio dati ir base64 formātā – atšifrē tos pirms saglabāšanas
  • Garus tekstus sadi segmentos un apvieno rezultātus