Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Garsinio kalbos kūrimo pagrindai

Paskaita 8 iš 14 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Tavo pirmasis balso generavimas
  2. Ką valdo kiekvienas parametras
  3. Mastelio didinimas: garso knygos skyrius
  4. Kai generavimas nepavyksta
  5. Svarbiausi punktai

Kursas atnaujintas 2026 m. lapkričio 3 d. „Voxtral TTS 3“ versijai, remiantis Migracijos iš „Voxtral 2“ vadovu ir „Mistral“ Teksto pavertimo kalba puslapiais: voxtral-mini-tts-2603, pasenęs 2026 m. spalio 31 d. ir pašalintas 2027 m. balandžio 30 d., pavyzdžiuose pakeistas į voxtral-mini-tts-3-0. Iš anksto nustatyti „Voxtral 2“ balsai (gb_jane_neutral…) vis dar priimami; „Voxtral 3“ prideda [emotion=…] ir [pace=…] žymas tekste, expressiveness nustatymą, tinkinamą tarimą (phoneme_hints) ir 35 kalbas. „Mistral“ rekomenduoja po migracijos iš naujo išmatuoti delsą. Šaltiniai: Migracija iš „Voxtral 2“ · Kalbos generavimas.

Tavo pirmasis balso generavimas

Dabar jau žinai, kaip sukurti balsą ir jį valdyti naudodamas „Voices“ API. Paskutinis žingsnis – padaryti tai, dėl ko visa tai buvo daroma: sukurti garso įrašą. „Mistral“ kalbos API susiveda į vieną kvietimą – client.audio.speech.complete(), kuris priima tekstą ir balso ID bei grąžina garso duomenis, užkoduotus „base64“. Šioje pamokoje nagrinėsime paprastą generavimą naudojant išsaugotą balsą; klonavimas realiuoju laiku ir srautinis perdavimas bus aptariami kitame skyriuje.

Toliau pateiktas kodas yra viskas, ko tau reikia norint paversti sakinį MP3 failu savo diske. Atidžiai stebėk paskutinį žingsnį: atsakyme nėra tiesioginių garso baitų, kuriuos galėtum naudoti iškart, o „base64“ eilutė, kurią prieš įrašant failą reikia dešifruoti. Tai klasikinė pradedančiųjų klaida – išsaugojus eilutę tokia, kokia ji yra, garso grotuvai atsisakys ją atidaryti.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Generuoti kalbą naudojant išsaugotą balsą
response = client.audio.speech.complete(
    model="voxtral-mini-tts-3-0",
    input="Hello and welcome to this course on Voxtral TTS.",
    voice_id="your-voice-id",
    response_format="mp3",
)

# Iššifruoti base64 ir įrašyti į failą
audio_bytes = base64.b64decode(response.audio_data)
Path("output.mp3").write_bytes(audio_bytes)
print(f"Audio generated: {len(audio_bytes)} bytes")

Ką valdo kiekvienas parametras

Parametras model nurodo sintezės modelį. Šiuo metu vienintelis available modelis yra voxtral-mini-tts-3-0, tačiau visada nurodykite jį aiškiai: kai atsiras kitų modelių, jūsų kodas ir toliau generuos tiksliai tokį patį balsą, kaip ir šiandien.

Parametras input priima tekstą, kurį reikia ištarti, ir tai yra parametras, reikalaujantis daugiausia dėmesio. „Voxtral 2“ dokumentacijoje buvo rekomenduojama neviršyti 300 žodžių vienam užklausai; „Voxtral TTS 3“ dokumentacijoje ribos nebėra nustatyta, tačiau vienos pastraipos užklausas vis tiek lengviau valdyti ir atkurti. Venkite emodži, kurių modelis negali interpretuoti, taip pat sudėtingo formatavimo – „Markdown“, HTML, specialiųjų simbolių, – nes jie bus skaitomi tiesiogine prasme. Galiausiai, išrašykite skaičius ir santrumpos žodžiais: „twenty-three“ vietoj „23“, „Limited Liability Company“ vietoj „LLC“. Balso agentas, kuris stringa ties skaičiais skelbdamas sumą, per vieną sakinį praranda patikimumą.

voice_id nurodo naudojamą balsą. Jį galite gauti trimis būdais: sukurdami balsą naudodami client.audio.voices.create() (žr. 5 pamoką), išvardydami esamus balsus naudodami client.audio.voices.list() arba pakartotinai naudodami „Mistral“ profesionalaus balso ID. Galiausiai, response_format nustato išvesties formatą iš šių variantų: mp3, wav, pcm, flac ir opus. Šis pasirinkimas daro įtaką tiek failo dydžiui, tiek delsai, o 12 pamoka yra skirta būtent šiai temai.

Mastelio didinimas: garso knygos skyrius

Šiek tiek ilgesniam tekstui geriausia praktika yra skaidymas. Principas paprastas: paruoškite pastraipų sąrašą, sugeneruokite kiekvieną atskirai, tada sukaupti iššifruotus baitus viename buferio prieš įrašant galutinį failą.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
voice_id = "your-voice-id"

# Tekstas padalintas į pastraipas
paragraphs = [
    "First paragraph of the chapter. The narrator introduces the context.",
    "Second paragraph. The action begins to develop.",
    "Third paragraph. Suspense builds gradually.",
]

full_audio = b""

for i, text in enumerate(paragraphs):
    print(f"Generating segment {i + 1}/{len(paragraphs)}...")
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input=text,
        voice_id=voice_id,
        response_format="wav",
    )
    full_audio += base64.b64decode(response.audio_data)

Path("chapter-01.wav").write_bytes(full_audio)
print("Audio chapter generated successfully!")

Šis scenarijus veikia, nes sukuriamas WAV formatas – nesuglaudintas formatas, kurio segmentus galima sujungti galą prie galo be specialaus apdorojimo. Pabandykite tą patį padaryti su MP3 arba Opus formatu ir rezultatas bus netinkamas naudoti: šie suglaudinti formatai turi antraštes ir kadrų struktūras, kurias sugadina paprastas sujungimas. Vietoj to naudokite biblioteką, pavyzdžiui, pydub, kuri iššifruoja kiekvieną segmentą prieš juos švariai sujungdama.

Kai generavimas nepavyksta

Gamtinėje aplinkoje turite apsaugoti kvietimą. Balso ID, kurį vakar ištrynė kolega, tekstas, kuris tyliai ilgėja dėl sujungto lauko, API kvotą, išsektą mėnesio pabaigoje, arba neteisingai įvestas išvesties formatas: kiekviena iš šių situacijų sukelia išimtį, o be apsaugos jūsų paketinis apdorojimas sustos viduryje duomenų rinkinio.

try:
    response = client.audio.speech.complete(
        model="voxtral-mini-tts-3-0",
        input="Text to convert to speech.",
        voice_id=voice_id,
        response_format="mp3",
    )
    audio_bytes = base64.b64decode(response.audio_data)
    Path("output.mp3").write_bytes(audio_bytes)
except Exception as e:
    print(f"Error during generation: {e}")

Skirkite laiko šiam klaidų apdorojimo keliui ištestuoti prieš pereinant į gamybinę aplinką: tyčia sugeneruokite naudodami neteisingą voice_id ir įsitikinkite, kad jūsų programa tai aiškiai signalizuoja, o ne sukuria tuščią failą.

Svarbiausi punktai

  • Generavimui naudojamas client.audio.speech.complete() su modeliu voxtral-mini-tts-3-0
  • Ilgus tekstus skaidykite į pastraipas ir venkite emodži bei formatavimo
  • Skaičius ir santrumpas išrašykite žodžiais, kad būtų teisingai ištarti
  • Grąžinamas garsas yra „base64“ formato – prieš įrašant jį reikia iššifruoti
  • Ilgiems tekstams skaidykite į segmentus ir sujunkite rezultatus