Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Nākamie soļi: pāri transkripcijai

Nodarbība 16 no 16 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Ko tu esi apguvis
  2. Voxtral TTS: balss piešķiršana tekstam
  3. Pilnā cauruļvads: STT, LLM, TTS
  4. Ko šis cauruļvads ļauj sasniegt
  5. Pilnībā suverēns balss cauruļvads
  6. Kur doties tālāk
  7. Kursu kopsavilkums
  8. Galvenās atziņas
  9. Pārbaudi savas zināšanas

Kurss atjaunināts 2026. gada 3. novembrī priekš Voxtral 3, balstoties uz Mistral ceļvedi Migrate from Voxtral 2: Voxtral 2 modeļi (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), kas deprecated 2026. gada 31. oktobrī un izslēgti 2027. gada 30. aprīlī, piemēros ir aizstāti ar voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 un voxtral-mini-tts-3-0. Galvenās izmaiņas: laika zīmogi ir tikai segmentu līmenī (word atgriež 400 kļūdu), tiek atbalstīta reāllaika runātāju atpazīšana (diarization), reāllaika sesijas iestatījumi tiek bloķēti pēc pirmā audio fragmenta, un context_bias ievades ir brīvas formas (frāzes ar atstarpēm). Avoti: Migrate from Voxtral 2 · Speech to Text.

Ko tu esi apguvis

Tu esi pabeidzis ceļojumu cauri abiem Voxtral transkripcijas režīmiem. Bezsaistes režīmā tu transkribē audio failus ar runātāju atpazīšanu, laika zīmogiem un konteksta novirzīšanu, izmantojot Voxtral Mini Transcribe 3. Reāllaika režīmā tu transkribē nepārtrauktas plūsmas ar konfigurējamu latentumu, izmantojot Voxtral Realtime, uztver mikrofonu un izmanto dubultās aiztures (dual delay) rakstu. Katrai šai spējai tev tagad ir pilns Python kods un intuīcija, lai pārietu uz produkcionu.

Tomēr transkripcija ir tikai puse no stāsta. Mistral AI audio ekosistēma apstrādā arī pretējo virzienu, un abu virzienu apvienošana ir tas, kas ļauj radīt patiesi konversācijas lietotnes.

Voxtral TTS: balss piešķiršana tekstam

Voxtral TTS ir precīzs transkripcijas pretstats: tas pārvērš tekstu dabiskā runā. Tas atbalsta nulles šāviena (zero-shot) balss klonēšanu, kas nozīmē, ka tas spēj reproducēt balsi, izmantojot tikai divas līdz trīs sekundes audio bez iepriekšējas apmācības. Tas arī balstās uz principu “balss kā instrukcija”: modelis seko tavā sniegtā balss uzdevuma intonācijai, ritmam un emocijām, tāpēc tev nav jāievieto prozodijas tagi tekstā — tu parādi vēlamo toni, nevis to apraksti. Valodu klāsts ietver angļu, franču, spāņu, portugāļu, itāļu, holandiešu, vācu, hindi un arābu valodu. Tas darbojas arī straumēšanas režīmā ar modeļa latentumu aptuveni 90 milisekundes un laiku līdz pirmajam audio fragmentam aptuveni 0,8 sekundes PCM formātā, padarot to piemērotu tiešraižu sarunām.

Praksē Voxtral TTS piešķir balsi tavām lietotnēm: virtuālajiem asistentiem, automatizētajai narācijai, pieejamības rīkiem un dublēšanai.

Pilnā cauruļvads: STT, LLM, TTS

Salikti kopā, šie trīs komponenti veido pilnu ciklu. Lietotāja audio kļūst par tekstu, tekstu saprot un apstrādā valodas modelis, un atbilde atkal kļūst par audio.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Zemāk esošais kods ievieš šo cauruļvadu. Pirmie divi soļi ir pazīstami: straumējoša transkripcija ar 300 milisekunžu aizturi, lai uztvertu jautājumu, tad LLM izsaukšana ar sistēmas uzdevumu, kas nosaka runas stilu. Trešais solis paliek komentēts, jo sintēzes API ir aplūkots atsevišķā kursā; šeit ir iekļauts izsaukšanas raksts, lai parādītu, kur tas iekļaujas.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Ko šis cauruļvads ļauj sasniegt

Uzņēmuma balss asistents ir visaktuālākais pielietojums: tas saprot darbinieku jautājumus un atbild, izmantojot iekšējo zināšanu bāzi. Reāllaika transkripcija uztver jautājumu, LLM vaicā vektoru datubāzei, izmantojot RAG, un TTS izrunā atbildi skaļi.

Zvanu centra aģents šo loģiku ved tālāk, vienlaikus izmantojot abus transkripcijas režīmus. Zvana laikā Voxtral Realtime transkribē sarunu tiešraidē; Mistral LLM analizē klienta nodomus; Voxtral TTS formulē balss atbildi. Kad zvans beidzas, bezsaistes apstrāde ar runātāju atpazīšanu rada strukturētu kopsavilkumu, norādot, kurš ko teica — tieši to, ko reāllaiks nevar nodrošināt.

Balss tulkošanas rīks savieno trīs modeļus vienā plūsmā: Voxtral STT transkribē avota runu kādā no 50 valodām, Mistral LLM to tulko, un Voxtral TTS atveido izvadi kādā no 9 mērķvalodām. Visbeidzot, automatizētā narācija pārvērš rakstus, ziņojumus vai e-pastus audio formātā klausīšanai mobilajās ierīcēs, kur LLM pielāgo tekstu mutvārdu piegādei pirms sintēzes.

Pilnībā suverēns balss cauruļvads

Šīs ekosistēmas izšķirošā priekšrocība ir spēja izvietot visu savā infrastruktūrā. Voxtral Realtime ir izlaists kā atvērti svari (open weights) ar Apache 2.0 licenci un izvietojams jūsu pašu serveros. Mistral Large 3 ir pieejams, izmantojot Eiropas mākoņa partnerus vai lokāli (on-premise). Arī Voxtral TTS atbalsta privātu izvietošanu. Citiem vārdiem sakot, visa ķēde — klausīšanās, sapratne, atbilde — var darboties, nevienam datam neatstājot jūsu infrastruktūru. Veselības aprūpei, aizsardzībai, finansēm vai valsts pārvaldei tas nav tikai ērtums; tas nosaka, vai projekts vispār ir iespējams.

Kur doties tālāk

Mistral oficiālajā dokumentācijā ir veltītas lapas audio jautājumiem, un tā paliek atsauce modeļu un API atjauninājumu izsekošanai. Hugging Face Hub mitina Voxtral modeļus kā atvērtus svarus kopā ar dokumentāciju un piemēriem. Mistral forums apkopo ziņojumus no lauka, kas bieži vien ir tuvāki taviem reālajiem ierobežojumiem nekā oficiālās demonstrācijas, un citi Corsen Academy kursi aptver pārējo Mistral AI ekosistēmu.

Kursu kopsavilkums

Tagad tu pazīsti Voxtral modeļus un to attiecīgās lomas: Mini Transcribe V2 bezsaistei, Realtime straumēšanai un Small audio sarunām. Tu esi apguvis bezsaistes transkripciju visās tās dimensijās — API izsaukumi, laika zīmogi, runātāju atpazīšana, konteksta novirzīšana — kā arī reāllaika transkripciju ar tās straumēšanu, mikrofonu uztveršanu, izmantojot PyAudio, latentuma kontroli un dubultās aiztures rakstu. Tu esi izveidojis pilnus lietojuma gadījumus, sākot no subtitriem un sanāksmju protokoliem līdz diktēšanai, balss asistentiem un konferencēm, un tu zini, kā to visu darbināt produkcionā. Trūkst tikai atgriezeniskās balss, lai noslēgtu sarunas ciklu.

Galvenās atziņas

  • Voxtral TTS noslēdz ciklu: STT (transkripcija), tad LLM (spriešana), tad TTS (sintēze)
  • Pilns balss cauruļvads ļauj radīt balss asistentus, zvanu centru aģentus un tulkus
  • Suverēna izvietošana ir iespējama, pateicoties atvērtu svaru modeļiem (Apache 2.0)
  • Transkripcija ir pamata būvelements balss lietotnēm
  • Turpini mācības ar kursiem, kas veltīti TTS un uzlabotiem balss cauruļvadiem

Pārbaudi savas zināšanas

Bezsaiste, reāllaiks, produkciona: transkripcija no visiem skatupunktiem.

1. Bezsaiste vai reāllaiks: kā izvēlēties?

Atbilde: Bezsaiste esošiem failiem (ierakstītām sapulcēm, arhīviem), kur svarīga maksimāla precizitāte; reāllaiks dzīviem scenārijiem (subtitri, balss asistenti), kur kritisks ir latentums.

2. Ko nodrošina laika zīmogi un runātāju atpazīšana?

Atbilde: Laika zīmogi lokalizē katru segmentu laikā (subtitri, navigācija); runātāju atpazīšana identificē, kurš runā — kopā tie pārvērš audio darbībā vērstā kopsavilkumā.

3. Kam paredzēta konteksta novirzīšana?

Atbilde: Lai norādītu modelim sagaidāmo vārdu krājumu (īpašvārdus, nozares terminus), uzlabojot precizitāti tur, kur vispārīga transkripcija neizdodas.

4. Kādas ir reāllaika sastāvdaļas Python valodā?

Atbilde: Mikrofona uztveršana (PyAudio), straumēšana uz API un latentuma/precizitātes kompromisa pārvaldība — latentuma parametri tiek pielāgoti atkarībā no lietojuma gadījuma.

5. Ko uzraudzīt produkcionā?

Atbilde: Ievades audio kvalitāti, izmaksas par transkribēto stundu, kopējo latentumu (end-to-end) un kļūdas kritiskajā vārdu krājumā — izmantojot novirzīšanu un testēšanu kā sviras.

Izvēle starp bezsaisti un reāllaiku strukturē visu pārējo — kursa ceļvedis dod tev ietvaru, tavi lietojuma gadījumi virza lēmumu.