Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Ďalšie kroky: Za hranicami prepisu

Lekcia 16 z 16 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Čo si sa naučil
  2. Voxtral TTS: Dáva textu hlas
  3. Kompletný pipeline: STT, LLM, TTS
  4. Čo tento pipeline umožňuje
  5. Plne zvrchovaný hlasový pipeline
  6. Kam ďalej
  7. Zhrnutie kurzu
  8. Kľúčové poznatky
  9. Over si svoje vedomosti

Kurz aktualizovaný 3. novembra 2026 pre Voxtral 3 na základe príručky Mistral Migrate from Voxtral 2: Modely Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603"), ktoré boli zastarané 31. októbra 2026 a vyradené 30. apríla 2027, sú v príkladoch nahradené modelmi voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3avoxtral-mini-tts-3-0. Kľúčové zmeny: časové pečiatky sú dostupné len na úrovni segmentov (wordvráti chybu 400), je podporovaná diarizácia v reálnom čase, nastavenia relácie v reálnom čase sú uzamknuté po prvom zvukovom bloku a vstupycontext_bias` sú voľného formátu (frázy s medzerami). Zdroje: Migrate from Voxtral 2 · Speech to Text.

Čo si sa naučil

Prešiel si celou cestou oboma režimami prepisu Voxtral. V offline režime prepisuješ zvukové súbory s diarizáciou, časovými pečiatkami a kontextovým zvýrazňovaním pomocou modelu Voxtral Mini Transcribe 3. V režime reálneho času prepisuješ nepretržité streamy s nastaviteľnou latenciou prostredníctvom Voxtral Realtime, zachytávaš vstup z mikrofónu a využívaš vzor dvojitého oneskorenia. Pre každú túto schopnosť teraz máš kompletný kód v Pythone a inštinkt potrebný na nasadenie do produkcie.

Prepis je však len polovicou príbehu. Zvukový ekosystém Mistral AI zvláda aj opačný smer a práve kombinácia oboch smerov umožňuje skutočne konverzačné aplikácie.

Voxtral TTS: Dáva textu hlas

Voxtral TTS je presným protipólom prepisu: transformuje text na prirodzenú reč. Podporuje klonovanie hlasu typu zero-shot, čo znamená, že dokáže reprodukovať hlas len na základe dvoch až troch sekúnd zvuku bez predchádzajúceho tréningu. Tiež sa spolieha na princíp hlasu ako inštrukcie: model nasleduje intonáciu, rytmus a emóciu hlasovej výzvy, ktorú mu poskytneš, takže nemusíš do textu vkladať značky pre prosódiu – namiesto opisovania tónu ho jednoducho ukážeš. Jazyková podpora zahŕňa angličtinu, francúzštinu, španielčinu, portugalčinu, taliančinu, holandčinu, nemčinu, hindčinu a arabčinu. Funguje aj v streamovacom režime s latenciou modelu okolo 90 milisekúnd a časom do prvého zvuku približne 0,8 sekundy vo formáte PCM, čo ho robí vhodným pre živú konverzáciu.

V praxi Voxtral TTS dáva tvojim aplikáciám hlas: virtuálni asistenti, automatizované rozprávanie, nástroje pre zlepšenie prístupnosti a dabing.

Kompletný pipeline: STT, LLM, TTS

Tieto tri komponenty spolu tvoria uzavretú slučku. Zvuk používateľa sa stane textom, text pochopí a spracuje jazykový model a odpoveď sa opäť zmení na zvuk.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Nižšie uvedený kód implementuje tento pipeline. Prvé dva kroky sú ti známe: streamovaný prepis s oneskorením 300 milisekúnd na zachytenie otázky, následne volanie LLM so systémovou výzvou, ktorá vynucuje hovorený register. Tretí krok zostáva zakomentovaný, keďže API pre syntézu je pokryté v samostatnom kurze; vzor volania je tu uvedený, aby ukázal, kam zapadá.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Čo tento pipeline umožňuje

Podnikový hlasový asistent je najbezprostrednejšou aplikáciou: rozumie otázkam zamestnancov a odpovedá využitím internej znalostnej bázy. Prepis v reálnom čase zachytí otázku, LLM vyhľadá vo vektorovej databáze prostredníctvom RAG a TTS odpoveď nahlas prednesie.

Agent call centra posúva logiku ešte ďalej súčasným využitím oboch režimov prepisu. Počas hovoru Voxtral Realtime prepisuje konverzáciu naživo; Mistral LLM analyzuje zámer zákazníka; Voxtral TTS formulujú hlasovú odpoveď. Po skončení hovoru offline prechod s diarizáciou vytvorí štruktúrované zhrnutie uvádzajúce, kto čo povedal – čo presne režim reálneho času poskytnúť nedokáže.

Nástroj na hlasový preklad reťazí tri modely na jednom streamu: Voxtral STT prepisuje zdrojovú reč medzi svojimi 50 jazykmi, Mistral LLM prekladá a Voxtral TTS vykreslí výstup v jednom z jeho 9 cieľových jazykov. Nakoniec automatizované rozprávanie mení články, správy alebo e-maily na zvukové formáty vhodné na počúvanie na mobilných zariadeniach, pričom LLM prispôsobuje text na ústne podanie pred syntézou.

Plne zvrchovaný hlasový pipeline

Rozhodujúcou výhodou tohto ekosystému je možnosť hostiť všetko na vlastnej infraštruktúre. Voxtral Realtime je vydaný ako open weights pod licenciou Apache 2.0 a nasadzuje sa na vlastných serveroch. Mistral Large 3 je dostupný prostredníctvom európskych cloudových partnerov alebo on-premise. Voxtral TTS tiež podporuje súkromné nasadenie. Inými slovami, celý reťazec – počúvanie, chápanie, odpovedanie – môže fungovať bez toho, aby akékoľvek údaje opustili tvoju infraštruktúru. Pre zdravotníctvo, obranu, financie alebo verejnú správu to nie je len pohodlie; určuje to, či je projekt vôbec realizovateľný.

Kam ďalej

Oficiálna dokumentácia Mistralu venuje zvuku samostatné stránky a zostáva referenciou pre sledovanie aktualizácií modelov a API. Hugging Face Hub hostí modely Voxtral ako open weights spolu s dokumentáciou a príkladmi. Fórum Mistral zhromažďuje správy z praxe, ktoré sú často bližšie tvojim reálnym obmedzeniam než oficiálne demá, a ďalšie kurzy Corsen Academy pokrývajú zvyšok ekosystému Mistral AI.

Zhrnutie kurzu

Teraz poznáš modely Voxtral a ich príslušné úlohy: Mini Transcribe V2 pre offline, Realtime pre streamovanie a Small pre zvukový chat. Zvládol si offline prepis vo všetkých jeho rozmeroch – volania API, časové pečiatky, diarizácia, kontextové zvýrazňovanie – ako aj prepis v reálnom čase so streamovaním, zachytávaním mikrofónu cez PyAudio, kontrolou latencie a vzorom dvojitého oneskorenia. Vytvoril si kompletné prípady použitia, od titulkovania a zápisníc zo stretnutí až po diktovanie, hlasových asistentov a konferencie, a vieš, ako to všetko prevádzkovať v produkcii. Chýba už len návratný hlas na uzavretie konverzačnej slučky.

Kľúčové poznatky

  • Voxtral TTS uzatvára slučku: STT (prepis), potom LLM (usudzovanie) a nakoniec TTS (syntéza)
  • Kompletný hlasový pipeline umožňuje hlasových asistentov, agentov call centra a prekladateľov
  • Zvrchované nasadenie je možné vďaka modelom s otvorenými váhami (Apache 2.0)
  • Prepis je základným stavebným kameňom pre hlasové aplikácie
  • Pokračuj vo vzdelávaní kurzami venovanými TTS a pokročilým hlasovým pipeline

Over si svoje vedomosti

Offline, reálny čas, produkcia: prepis z každého uhla.

1. Offline alebo reálny čas: ako si vybrať?

Odpoveď: Offline pre existujúce súbory (nahrané stretnutia, archívy), kde záleží na maximálnej presnosti; reálny čas pre živé scenáre (titulky, hlasoví asistenti), kde je kritická latencia.

2. Čo poskytujú časové pečiatky a diarizácia?

Odpoveď: Časové pečiatky lokalizujú každý segment v čase (titulky, navigácia); diarizácia identifikuje, kto hovorí – spolu menia zvuk na akčný súhrn.

3. Na čo slúži kontextové zvýrazňovanie?

Odpoveď: Na nasmerovanie modelu k očakávanej slovnej zásobe (vlastné mená, odborné termíny) s cieľom zlepšiť presnosť tam, kde všeobecný prepis zlyháva.

4. Aké sú ingrediencie pre reálny čas v Pythone?

Odpoveď: Zachytávanie mikrofónu (PyAudio), streamovanie do API a riadenie kompromisu medzi latenciou a presnosťou – parametre latencie sa ladenia podľa konkrétneho prípadu použitia.

5. Čo monitoruješ v produkcii?

Odpoveď: Kvalitu vstupného zvuku, náklady na prepisanú hodinu, latenciu od začiatku do konca a chyby v kritickej slovnej zásobe – pričom zvýrazňovanie a testovanie slúžia ako páky.

Voľba medzi offline a reálnym časom štruktúruje všetko ostatné – sprievodca kurzom ti dáva rámec, tvoje prípady použitia určujú rozhodnutie.