Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Kompletný hlasový pipeline

Lekcia 14 z 14 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Od hlasu k hlasu: Pipeline STT → LLM → TTS
  2. Funkčný pipeline
  3. Nečakaj na dokončenie uvažovania
  4. Konverzačná slučka
  5. Čo oddeľuje tento prototyp od produkčného nasadenia
  6. Ďalšie kroky
  7. Kľúčové poznatky
  8. Over si svoje vedomosti

Kurz aktualizovaný 3. novembra 2026 pre Voxtral TTS 3 na základe sprievodcu Migrácia z Voxtral 2 a stránok Mistral Text to Speech: model voxtral-mini-tts-2603, zastaraný 31. októbra 2026 a vyradený 30. apríla 2027, je v príkladoch nahradený modelom voxtral-mini-tts-3-0. Preddefinované hlasy Voxtral 2 (gb_jane_neutral…) zostávajú podporované; Voxtral 3 pridáva značky [emotion=…] a [pace=…] priamo do textu, nastavenie expressiveness, vlastnú výslovnosť (phoneme_hints) a podporu 35 jazykov. Mistral odporúča po migrácii znovu zmerať latenciu. Zdroje: Migrácia z Voxtral 2 · Generovanie reči.

Lekcia opravená 2. novembra 2026 na základe audio dokumentácie Mistral: metóda prepisu je client.audio.transcriptions.complete (nie create), pričom súbor sa odovzdáva ako {"file_name": ..., "content": ...} a aktuálnym modelom je voxtral-mini-transcribe-3. Zdroj: Prepísať súbor.

Od hlasu k hlasu: Pipeline STT → LLM → TTS

Už vieš, ako vytvárať hlasy, generovať reč a spravovať latenciu. Táto záverečná lekcia spája tieto stavebné kamene do kompletného systému: používateľ hovorí, stroj počúva, chápe, uvažuje a odpovedá prirodzeným hlasom.

Architektúra pozostáva z troch článkov. Po prvé, rozpoznávanie reči prevádza hovorené slovo na text; Mistral ponúka vlastný model, ale rovnako dobre funguje Whisper od OpenAI alebo iné riešenie. Tento text následne putuje do veľkého jazykového modelu (LLM), ktorý interpretuje požiadavku a pripraví odpoveď – či už ide o Mistral Large 3, Claude, GPT-5.6 alebo Llama; pipeline nekladie žiadne predpoklady ohľadom poskytovateľa. Nakoniec sa odpoveď vráti do Voxtral TTS, ktorý ju vykreslí ako reč odoslanú prostredníctvom streamingu.

Funkčný pipeline

Nižšie uvedený kód spája tieto tri kroky dohromady. Každý je izolovaný vo vlastnej funkcii, čo ti umožňuje vymeniť model STT alebo LLM bez zásahu do zvyšku kódu. Všimni si, že história konverzácie sa odovzdáva do funkcie generer_reponse() a tá ju obohacuje: práve to zabezpečuje súvislosť postupných výmen.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Konfigurácia
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"

def transcribe_audio(audio_path: str) -> str:
    """Krok 1: Prevod audia na text (STT)."""
    path = Path(audio_path)
    with path.open("rb") as audio:
        response = client.audio.transcriptions.complete(
            model="voxtral-mini-transcribe-3",
            file={"file_name": path.name, "content": audio},
        )
    return response.text

def generate_response(question: str, history: list) -> str:
    """Krok 2: Generovanie odpovede pomocou LLM."""
    history.append({"role": "user", "content": question})

    response = client.chat.complete(
        model=LLM_MODEL,
        messages=history,
    )

    answer = response.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    return answer

def synthesize_speech(output_file: str, fichier_sortie: str):
    """Krok 3: Prevod textu na reč (TTS)."""
    audio_chunks = []

    with client.audio.speech.complete(
        model=TTS_MODEL,
        input=output_file,
        voice_id=VOICE_ID,
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                audio_chunks.append(
                    base64.b64decode(event.data.audio_data)
                )

    Path(fichier_sortie).write_bytes(b"".join(audio_chunks))

def pipeline_vocal(audio_path: str):
    """Kompletný pipeline: STT → LLM → TTS."""
    history = [
        {
            "role": "system",
            "content": (
                "You are a professional voice assistant. "
                "Respond concisely and naturally, "
                "as in an oral conversation."
            ),
        }
    ]

    # Krok 1: Prepis
    print("Prepisujem...")
    question = transcribe_audio(audio_path)
    print(f"Otázka: {question}")

    # Krok 2: Uvažovanie
    print("Generujem odpoveď...")
    answer = generate_response(question, history)
    print(f"Odpoveď: {answer}")

    # Krok 3: Syntéza
    print("Syntetizujem reč...")
    synthesize_speech(answer, "answer.pcm")
    print("Pipeline dokončený — vygenerovaný súbor answer.pcm")

# Spustenie pipeline
pipeline_vocal("question_utilisateur.wav")

Systémový prompt si zaslúži osobitnú pozornosť: explicitná požiadavka na stručné a hovorené odpovede nie je len zdvorilosťou. Neobmedzený LLM ochotne produkuje štruktúrované odseky s nadpismi, čo je pri čítaní nahlas katastrofálne – a ich syntéza trvá ešte dlhšie.

Nečakaj na dokončenie uvažovania

Predchádzajúci pipeline je sekvenčný: syntéza sa nezačne, kým LLM úplne nedopíše odpoveď. Pri tridsaťslovovej odpovedi to pridáva niekoľko sekúnd ticha, ktoré používateľ nevie vysvetliť. Riešením je prekrytie krokov 2 a 3: LLM generuje obsah v streamingu a hneď, ako je k dispozícii celá veta – teda hneď, ako token končí bodkou, vykričníkom alebo otáznikom – putuje do syntézy, zatiaľ čo model pokračuje v písaní zvyšku.

def streaming_pipeline(question_text: str):
    """Optimalizovaný pipeline: TTS začne hneď, ako prídu
    prvé tokeny z LLM."""

    # LLM generuje v streamingu
    partial_response = ""
    phrases_to_synthesize = []

    llm_stream = client.chat.stream(
        model=LLM_MODEL,
        messages=[
            {"role": "system", "content": "Respond briefly."},
            {"role": "user", "content": question_text},
        ],
    )

    for chunk in llm_stream:
        token = chunk.data.choices[0].delta.content or ""
        partial_response += token

        # Hneď, ako je k dispozícii celá veta
        if token.endswith((".", "!", "?")):
            phrases_to_synthesize.append(partial_response)
            partial_response = ""

    # Syntetizuj každú vetu v streamingu
    for phrase in phrases_to_synthesize:
        with client.audio.speech.complete(
            model=TTS_MODEL,
            input=phrase,
            voice_id=VOICE_ID,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

Konverzačná slučka

Skutočný asistent nevybavuje izolované otázky: spája jednotlivé ťahy reči pri zachovaní kontextu. Nižšie uvedená slučka nahráva, prepisuje, kontroluje, či používateľ chce skončiť, a následne odpovedá – pričom pri každom ťahu znovu vkladá rovnakú premennú historique, ktorá sa počas výmeny rozrastá.

def voice_assistant():
    """Kompletná konverzačná slučka."""
    history = [
        {
            "role": "system",
            "content": "You are a concise voice assistant.",
        }
    ]

    print("Hlasový asistent pripravený. Hovor!")

    while True:
        # Nahratie otázky (cez mikrofón)
        audio_question = record_microphone(duration=10)

        # Pipeline STT → LLM → TTS
        question = transcribe_audio(audio_question)
        if question.lower() in ("stop", "arrête", "au revoir"):
            synthesize_speech("Goodbye!", "sortie.pcm")
            break

        answer = generate_response(question, history)
        synthesize_speech(answer, "sortie.pcm")
        play_audio("sortie.pcm")

Čo oddeľuje tento prototyp od produkčného nasadenia

Parameter duree=10 v nahrávaní ilustruje cestu, ktorá je ešte pred nami: pevné oneskorenie núti hovorného používateľa prerušiť sa a niekoho, kto odpovie „áno“, nechá čakať desať sekúnd. Detektor hlasovej aktivity (VAD) tento problém rieši tým, že skutočne detekuje koniec reči. Následne musíš ošetriť prerušenia, keďže používateľ rád preruší asistenta, ktorý hovorí príliš dlho: tvoj kód musí byť schopný zastaviť prebiehajúcu syntézu, čo streaming umožňuje, no tento prototyp to ešte nerobí.

Ďalšie tri body sú podmienkou nasadenia. História konverzácie, ktorá je tu už prítomná, musí mať stanovenú hranicu a musí byť perzistentná, ak relácie trvajú dlhšie. Nevyhnutný je aj fallback – ak zlyhá STT alebo TTS, zobraz text, namiesto toho, aby si ponechal nevysvetlené ticho. Nakoniec, v produkcii inštrumentuj každý krok: je to jediný spôsob, ako zistiť, či tá extra sekunda pochádza z prepisu, LLM alebo syntézy.

Ďalšie kroky

Teraz máš všetko potrebné na využitie Voxtral TTS vo svojich projektoch. Otvárajú sa ti viaceré smery v závislosti od tvojich obmedzení: hostuj Voxtral lokálne, ak je pre teba kľúčová latencia alebo kontrola nad dátami, integruj ho do existujúceho frameworku ako LangChain, LlamaIndex alebo Haystack, alebo postav kompletnú webovú aplikáciu s WebRTC pre obojsmerné audio. Môžeš tiež preskúmať multimodálne modely od Mistral, ktoré kombinujú text, obraz a audio, a pripojiť sa ku komunite Mistral na Discorde, kde môžeš porovnať svoje výtvory s ostatnými.

Kľúčové poznatky

  • Kompletný hlasový asistent spája tri kroky: STT → LLM → TTS
  • Paralelizácia krokov (generovanie TTS, zatiaľ čo LLM pokračuje) drasticky znižuje latenciu
  • Formát PCM v streamingu poskytuje odozvu potrebnú pre prirodzenú konverzáciu
  • V produkcii ošetruj detekciu konca reči, prerušenia a textový fallback
  • Voxtral TTS sa vďaka Python SDK od Mistral integruje do ľubovoľného hlasového pipeline

Over si svoje vedomosti

Syntéza, hlas, latencia: záverečná kontrola pred kompletným pipeline.

1. Čo umožňuje API Voices?

Odpoveď: Spravovať dostupné hlasy a vytvárať vlastné – hlas sa stáva nakonfigurovaným aktívom, opakovane použiteľným pri všetkých generovaniach.

2. Aké etické pravidlá upravujú klonovanie hlasu?

Odpoveď: Explicitný súhlas klonovanej osoby a transparentné, legitímne použitie – klonovanie hlasu bez autorizácie neprichádza do úvahy; technická možnosť neznamená povolenie.

3. Ako kontroluješ výslovnosť textu?

Odpoveď: Prípravou textu: foneticky hláskuj nejednoznačné termíny, ošetruj skratky a čísla, interpunkciou nastavuj rytmus – TTS číta presne to, čo napíšeš.

4. Aké páky znižujú latenciu?

Odpoveď: Streaming v reálnom čase (audio produkované, ako prichádza text), prispôsobené audio formáty a segmentovaný text – hlas začne skôr, než skončí generovanie.

5. Ako vyzerá kompletný hlasový pipeline?

Odpoveď: Prepis používateľa (Voxtral) → spracovanie modelom → syntéza odpovede (TTS), end-to-end streaming: slučka hlasového asistenta.

Slučka je uzavretá: od prichádzajúceho hlasu k odchádzajúcemu hlasu – záverečný pipeline kurzu spája všetko, čo si práve overil.