Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Järgmised sammud: peale transkriptsiooni

Õppetund 16 / 16 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Mida sa õppisid
  2. Voxtral TTS: hääle andmine tekstile
  3. Täielik torustik: STT, LLM, TTS
  4. Mida see torustik võimaldab
  5. Täielikult suveräänne häältorustik
  6. Kuhu edasi minna
  7. Kursuse kokkuvõte
  8. Peamised punktid
  9. Testi oma teadmisi

Kursust uuendati 3. novembril 2026 Voxtral 3 jaoks, tuginedes Mistrali juhendile Migrate from Voxtral 2: Voxtral 2 mudelid (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), mis tunnistati aegunuks 31. oktoobril 2026 ja lõpetati 30. aprillil 2027, on asendatud näidetes mudelitega voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 ja voxtral-mini-tts-3-0. Peamised muudatused: ajatemplid on ainult segmendi tasemel (word tagastab vea 400), reaalajas kõneleja eristamine on toetatud, reaalajaseansi seaded lukustuvad pärast esimest helilõiku ja context_bias sisendid on vabas vormingus (fraasid tühikutega). Allikad: Migrate from Voxtral 2 · Speech to Text.

Mida sa õppisid

Sa läbisid mõlemad Voxtrali transkriptsioonirežiimid. Võrguühenduseta režiimis transkribeerid helifaile, kasutades kõneleja eristamist, ajatempleid ja konteksti kallutamist mudeliga Voxtral Mini Transcribe 3. Reaalajas režiimis transkribeerid pidevaid vooge kohandatava latentsusega Voxtral Realtime’i kaudu, salvestad mikrofoni sisendi ja kasutad topeltviivituse mustrit. Iga võimaluse jaoks on sul nüüd olemas täielik Pythoni kood ja vajalikud instinktid, et liikuda tootmiskeskkonda.

Transkriptsioon on aga vaid pool lugu. Mistral AI heliökosüsteem haldab ka vastupidist teed ning mõlema suuna kombineerimine võimaldab luua tõeliselt vestlevaid rakendusi.

Voxtral TTS: hääle andmine tekstile

Voxtral TTS on transkriptsiooni täpne vaste: see muudab teksti loomulikuks kõneks. See toetab null-shot hääle kloonimist, mis tähendab, et see suudab reprodutseerida häält vaid kahe kuni kolme sekundi pikkuse helisalvestise põhjal ilma eelneva treenimiseta. Samuti tugineb see põhimõttele „hääl kui juhend“: mudel järgib sinu pakutava häälse vihje intonatsiooni, rütmi ja emotsiooni, nii et sul pole vaja teksti lisada prosoodia sildid – sa näitad soovitud tooni, selle asemel et seda kirjeldada. Keelte hõlmatusse kuuluvad inglise, prantsuse, hispaania, portugali, itaalia, hollandi, saksa, hindi ja araabia keel. See töötab ka voogrežiimis, mudeli latentsus on umbes 90 millisekundit ja aeg esimese helini on PCM-formaadis umbes 0,8 sekundit, mis teeb selle sobivaks otsevestluseks.

Praktikas annab Voxtral TTS sinu rakendustele hääle: virtuaalsed assistendid, automatiseeritud jutustamine, ligipääsetavuse tööriistad ja dublaaž.

Täielik torustik: STT, LLM, TTS

Need kolm komponenti moodustavad kokku panduna täieliku tsükli. Kasutaja heli muutub tekstiks, keelemudel mõistab ja töötleb teksti ning vastus muutub taas heliks.

Kasutaja heli → Voxtral STT → Tekst
                             ↓
                      Mistral LLM (põhjendamine)
                             ↓
                   Tekstvastus → Voxtral TTS → Helivastus

Allpool olev kood rakendab seda torustikku. Esimesed kaks sammu on tuttavad: voogtranskriptsioon 300 millisekundiga küsimuse tabamiseks, seejärel LLM-i kutsumine süsteemiviibaga, mis sunnib kasutama kõnerežiimi. Kolmas samm jääb kommenteerituks, kuna sünteesi API-d käsitletakse eraldi kursusel; siin on toodud väljakutsemise muster, et näidata, kuhu see sobitub.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Mida see torustik võimaldab

Ettevõtte häälassistend on kõige otsesem rakendus: see mõistab töötajate küsimusi ja vastab, kasutades sisemist teadmistebaasi. Reaalajas transkriptsioon tabab küsimuse, LLM päringub vektorandmebaasi RAG-i kaudu ja TTS loeb vastuse valjusti ette.

Kõnekeskuse operaator viib loogika veelgi kaugemale, kasutades mõlemat transkriptsioonirežiimi samaaegselt. Kõne ajal transkribeerib Voxtral Realtime vestlust otse; Mistral LLM analüüsib kliendi kavatsust; Voxtral TTS formuleerib häälvastuse. Kui kõne lõpeb, loob võrguühenduseta läbimine koos kõneleja eristamisega struktureeritud kokkuvõtte, mis näitab, kes mida ütles – täpselt seda, mida reaalajas režiim pakkuda ei saa.

Häältõlke tööriist aheldab ühes voos kolm mudelit: Voxtral STT transkribeerib lähtekõne ühes oma 50 keeles, Mistral LLM tõlgib ja Voxtral TTS esitab väljundi ühes oma 9 sihtkeeles. Lõpuks muudab automatiseeritud jutustamine artiklid, aruanded või meilid heliks mobiilikuulamiseks, kusjuures LLM kohandab teksti suuliseks esitamiseks enne sünteesi.

Täielikult suveräänne häältorustik

Selle ökosüsteemi otsustav eelis on võime majutada kõike oma taristus. Voxtral Realtime avaldatakse avatud kaaludega Apache 2.0 litsentsi all ja seda saab kasutusele võtta oma serverites. Mistral Large 3 on kättesaadav Euroopa pilvipartnerite kaudu või kohapealsena. Ka Voxtral TTS toetab privaatset kasutuselevõttu. Teisisõnu, kogu ahel – kuula, mõista, vasta – saab töötada nii, et ükski andme ei lahku sinu taristust. Tervishoiu, kaitse, rahanduse või avaliku halduse jaoks pole see pelgalt mugavus; see määrab, kas projekt on üldse teostatav.

Kuhu edasi minna

Mistrali ametlik dokumentatsioon pühendab helile eraldi lehed ja jääb mudelite ning API värskenduste jälgimise võrdlusaluseks. Hugging Face Hub hostib Voxtrali mudeleid avatud kaaludena koos dokumentatsiooni ja näidetega. Mistrali foorum koondab väljaraporteid, mis on sageli sinu reaalsetele piirangutele lähemal kui ametlikud demod, ja teised Corsen Academy kursused katavad ülejäänud Mistral AI ökosüsteemi.

Kursuse kokkuvõte

Sa tunned nüüd Voxtrali mudeleid ja nende vastavaid rolle: Mini Transcribe V2 võrguühenduseta kasutuseks, Realtime voogedastuseks ja Small helivestluseks. Sa oled omandanud võrguühenduseta transkriptsiooni kõigis selle mõõtmetes – API väljakutsed, ajatemplid, kõneleja eristamine, konteksti kallutamine – samuti reaalajas transkriptsiooni koos selle voogedastuse, mikrofoni salvestamisega PyAudio kaudu, latentsuse juhtimise ja topeltviivituse mustriga. Sa oled ehitanud täielikke kasutusjuhte, alates subtiitritest ja koosolekute protokollidest kuni dikteerimise, häälassistendite ja konverentsideni, ning tead, kuidas kõike seda tootmises käitada. Puudu on vaid tagasipöörduv hääl, et vestlusring sulgeda.

Peamised punktid

  • Voxtral TTS sulgeb tsükli: STT (transkriptsioon), seejärel LLM (põhjendamine) ja siis TTS (süntees)
  • Täielik häältorustik võimaldab luua häälassistente, kõnekeskuse operaatoreid ja tõlke
  • Suveräänne kasutuselevõtt on võimalik tänu avatud kaaludega mudelitele (Apache 2.0)
  • Transkriptsioon on häälrakenduste põhiline ehituskivi
  • Jätka õppimist TTS-i ja täiustatud häältorustikele pühendatud kursustega

Testi oma teadmisi

Võrguühenduseta, reaalajas, tootmine: transkriptsioon igast vaatenurgast.

1. Võrguühenduseta või reaalajas: kuidas valida?

Vastus: Võrguühenduseta olemasolevate failide jaoks (salvestatud koosolekud, arhiivid), kus oluline on maksimaalne täpsus; reaalajas otsestsenaariumide jaoks (subtiitrid, häälassistendid), kus latentsus on kriitiline.

2. Mida pakuvad ajatemplid ja kõneleja eristamine?

Vastus: Ajatemplid paiknevad iga segmendi ajas (subtiitrid, navigeerimine); kõneleja eristamine tuvastab, kes räägib – koos muudavad need heli tegevusvõimeliseks kokkuvõtteks.

3. Milleks on konteksti kallutamine?

Vastus: Et juhtida mudelit oodatava sõnavara juurde (pärisnimed, tööstusterminid), parandades täpsust seal, kus üldine transkriptsioon ebaõnnestub.

4. Millised on reaalajas töötamise koostisosad Pythonis?

Vastus: Mikrofoni salvestamine (PyAudio), voogedastus API-le ning latentsuse ja täpsuse kompromissi haldamine – latentsusparameetrid häälestatakse vastavalt kasutusjuhtumile.

5. Mida tootmises jälgida?

Vastus: Sisendheli kvaliteeti, kulusid transkribeeritud tunni kohta, otsest otspunktist-otspunktini latentsust ja vigu kriitilises sõnavaras – kus hoobadeks on kallutamine ja testimine.

Valik võrguühenduseta ja reaalajas režiimi vahel struktureerib kõike muud – kursuse juhend annab sulle raamistiku, sinu kasutusjuhtumid juhivad otsust.