Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Naslednji koraki: onkraj prepisovanja

Lekcija 16 od 16 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Kaj si se naučil
  2. Voxtral TTS: dajanje glasu besedilu
  3. Celoten cevovod: STT, LLM, TTS
  4. Kaj omogoča ta cevovod
  5. Popolnoma suveren glasovni cevovod
  6. Kam naprej
  7. Povzetek tečaja
  8. Ključne ugotovitve
  9. Preveri svoje znanje

Tečaj posodobljen 3. novembra 2026 za Voxtral 3, na podlagi Mistralovega vodnika Migrate from Voxtral 2: modeli Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603, ki so bili opuščeni 31. oktobra 2026 in umaknjeni 30. aprila 2027, so v primerih zamenjani z voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 in voxtral-mini-tts-3-0. Ključne spremembe: časovni žigi so samo na ravni segmentov (word vrne napako 400), podprta je diarizacija v realnem času, nastavitve seje v realnem času so zaklenjene po prvem zvočnem delčku, vnosi context_bias pa so prosto oblikovani (fraze s presledki). Viri: Migrate from Voxtral 2 · Speech to Text.

Kaj si se naučil

Zaključil si potovanje skozi oba načina prepisovanja z Voxtralom. V načinu brez povezave (offline) prepisuješ zvočne datoteke z diarizacijo, časovnimi žigi in pristranskostjo konteksta z uporabo Voxtral Mini Transcribe 3. V načinu realnega časa prepisuješ neprekinjene tokove z nastavljivo zakasnitvijo prek Voxtral Realtime, zajemaš vhod z mikrofona in izkoriščaš vzorec dvojne zakasnitve. Za vsako zmogljivost imaš zdaj na voljo popolno kodo Python in instinkte, potrebne za prehod v proizvodno okolje.

Prepisovanje pa je le polovica zgodbe. Zvočni ekosistem Mistral AI obvlada tudi obratno pot, kombinacija obeh smeri pa omogoča resnično konverzacijske aplikacije.

Voxtral TTS: dajanje glasu besedilu

Voxtral TTS je natančno nasprotje prepisovanju: besedilo pretvori v naraven govor. Podpira kloniranje glasu brez predhodnega učenja (zero-shot), kar pomeni, da lahko reproducira glas zgolj na podlagi dveh do treh sekund zvoka brez predhodnega usposabljanja. Prav tako temelji na principu „glas kot navodilo”: model sledi intonaciji, ritmu in čustvom govornega poziva, ki ga podaš, zato v besedilo ni treba vstavljati oznak za prozodijo – namesto opisovanja želenega tona ga preprosto prikažeš. Jezikovna pokritost vključuje angleščino, francoščino, španščino, portugalščino, italijanščino, nizozemščino, nemščino, hindujščino in arabščino. Deluje tudi v načinu pretakanja, z zakasnitvijo modela okoli 90 milisekund in časom do prvega zvoka približno 0,8 sekunde v formatu PCM, kar ga dela primernega za pogovor v živo.

V praksi Voxtral TTS tvojim aplikacijam daje glas: virtualni asistenti, avtomatizirano pripovedovanje, orodja za dostopnost in sinhronizacija.

Celoten cevovod: STT, LLM, TTS

Ti trije elementi skupaj tvorijo popoln krog. Uporabnikov zvok postane besedilo, jezikovni model besedilo razume in obdela, odgovor pa ponovno postane zvok.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Spodnja koda izvaja ta cevovod. Prva dva koraka sta ti znana: prepisovanje v toku z zakasnitvijo 300 milisekund za zajem vprašanja, nato klic LLM s sistemskim pozivom, ki uveljavlja govorni register. Tretji korak ostaja komentiran, saj je API za sintezo obravnavan v namenskem tečaju; vzorec klica je tu vključen, da se pokaže, kam sodi.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Kaj omogoča ta cevovod

Podjetniški glasovni asistent je najbolj neposredna aplikacija: razume vprašanja zaposlenih in odgovarja z uporabo interne baze znanja. Prepisovanje v realnem času zajame vprašanje, LLM poizveduje v vektorski bazi podatkov prek RAG, TTS pa odgovor izgovori na glas.

Agent klicnega centra logiko pelje še dlje z istočasno uporabo obeh načinov prepisovanja. Med klicem Voxtral Realtime prepisuje pogovor v živo; Mistral LLM analizira namero stranke; Voxtral TTS oblikuje govorni odgovor. Ko se klic konča, offline obdelava z diarizacijo ustvari strukturiran povzetek, ki kaže, kdo je kaj rekel – kar točno je tisto, česar realni čas ne more zagotoviti.

Orodje za glasovno prevajanje poveže tri modele v enem samem toku: Voxtral STT prepisuje izvorni govor med svojimi 50 jeziki, Mistral LLM prevaja, Voxtral TTS pa izhod prikaže v enem od svojih 9 ciljnih jezikov. Nazadnje avtomatizirano pripovedovanje pretvori članke, poročila ali e-pošto v zvok za poslušanje na mobilnih napravah, pri čemer LLM prilagodi besedilo za ustno izvedbo pred sintezo.

Popolnoma suveren glasovni cevovod

Odločilna prednost tega ekosistema je možnost gostovanja vsega na lastni infrastrukturi. Voxtral Realtime je izdan kot odprte uteži pod licenco Apache 2.0 in ga lahko namestiš na svoje strežnike. Mistral Large 3 je dostopen prek evropskih partnerjev v oblaku ali lokalno (on-premise). Voxtral TTS prav tako podpira zasebno namestitev. Z drugimi besedami, celotna veriga – poslušanje, razumevanje, odgovarjanje – lahko deluje brez odhoda kakršnih koli podatkov iz tvoje infrastrukture. Za zdravstvo, obrambo, finance ali javno upravo to ni zgolj priročnost; odloča o tem, ali je projekt sploh izvedljiv.

Kam naprej

Uradna dokumentacija Mistrala namenja strani zvoku in ostaja referenca za sledenje posodobitvam modelov in API-jev. Hugging Face Hub gosti modele Voxtral kot odprte uteži, skupaj z dokumentacijo in primeri. Forum Mistral združuje poročila s terena, ki so pogosto bližje tvojim realnim omejitvam kot uradni demo posnetki, drugi tečaji Corsen Academy pa pokrivajo preostanek ekosistema Mistral AI.

Povzetek tečaja

Zdaj poznaš modele Voxtral in njihove ustrezne vloge: Mini Transcribe V2 za offline, Realtime za pretakanje in Small za zvočni klepet. Obvladal si prepisovanje brez povezave v vseh njegovih razsežnostih – klice API-ja, časovne žige, diarizacijo, pristranskost konteksta – pa tudi prepisovanje v realnem času s pretakanjem, zajemom mikrofona prek PyAudio, nadzorom zakasnitve in vzorcem dvojne zakasnitve. Zgradil si popolne primere uporabe, od podnapisov in zapisnikov sestankov do narekovanja, glasovnih asistentov in konferenc, in veš, kako vse to pognati v proizvodnem okolju. Manjka le povratni glas za zaprtje konverzacijske zanke.

Ključne ugotovitve

  • Voxtral TTS zapre zanko: STT (prepisovanje), nato LLM (razmišljanje), nato TTS (sinteza)
  • Popoln glasovni cevovod omogoča glasovne asistente, agente klicnih centrov in prevajalce
  • Suverena namestitev je mogoča zahvaljujoč modelom z odprtimi utežmi (Apache 2.0)
  • Prepisovanje je temeljni gradnik za glasovne aplikacije
  • Nadaljuj učenje s tečaji, namenjenimi TTS in naprednim glasovnim cevovodom

Preveri svoje znanje

Brez povezave, v realnem času, v proizvodnji: prepisovanje z vseh zornih kotov.

1. Brez povezave ali v realnem času: kako izbrati?

Odgovor: Brez povezave za obstoječe datoteke (posneti sestanki, arhivi), kjer je pomembna največja natančnost; v realnem času za scenarije v živo (podnapisi, glasovni asistenti), kjer je zakasnitev ključna.

2. Kaj zagotavljata časovni žigi in diarizacija?

Odgovor: Časovni žigi locirajo vsak segment v času (podnapisi, navigacija); diarizacija identificira govornika – skupaj zvok pretvorita v izvedljiv povzetek.

3. Čemu služi pristranskost konteksta?

Odgovor: Da model usmeriš na pričakovano besedišče (lastna imena, strokovni izrazi) in izboljšaš natančnost tam, kjer splošno prepisovanje odpove.

4. Katere so sestavine za delo v realnem času v Pythonu?

Odgovor: Zajem mikrofona (PyAudio), pretakanje v API in upravljanje kompromisa med zakasnitvijo in natančnostjo – parametri zakasnitve se prilagajajo glede na primer uporabe.

5. Kaj spremljaš v proizvodnji?

Odgovor: Kakovost vhodnega zvoka, stroške na prepisano uro, zakasnitev od konca do konca in napake pri ključnem besedišču – s pristranskostjo in testiranjem kot vzvodi.

Izbira med načinom brez povezave in realnim časom strukturira vse ostalo – vodnik tečaja ti daje okvir, tvoji primeri uporabe pa vodijo odločitev.