Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Celoten glasovni potek

Lekcija 14 od 14 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Od glasu do glasu: potek STT → LLM → TTS
  2. Funkcionalen potek
  3. Ne čakaj, da se razmišljanje konča
  4. Pogovorna zanka
  5. Kaj loči ta prototip od proizvodnje
  6. Naslednji koraki
  7. Ključne ugotovitve
  8. Preveri svoje znanje

Tečaj posodobljen 3. novembra 2026 za Voxtral TTS 3, na podlagi vodnika Migrate from Voxtral 2 in strani Mistral Text to Speech: voxtral-mini-tts-2603, ki je bil opuščen 31. oktobra 2026 in umaknjen 30. aprila 2027, je v primerih nadomeščen z voxtral-mini-tts-3-0. Vnaprej določeni glasovi Voxtral 2 (gb_jane_neutral…) so še vedno podprti; Voxtral 3 dodaja oznake [emotion=…] in [pace=…] v besedilu, nastavitev expressiveness, prilagojeno izgovarjavo (phoneme_hints) in 35 jezikov. Mistral priporoča ponovno merjenje zakasnitve po selitvi. Viri: Migrate from Voxtral 2 · Speech generation.

Lekcija popravljena 2. novembra 2026 na podlagi Mistralove dokumentacije za zvok: metoda za prepis je client.audio.transcriptions.complete (ne create), datoteka pa se posreduje kot {"file_name": ..., "content": ...}, trenutni model pa je voxtral-mini-transcribe-3. Vir: Transcribe a file.

Od glasu do glasu: potek STT → LLM → TTS

Znaš ustvarjati glasove, generirati govor in upravljati zakasnitev. Ta zadnja lekcija združuje te gradnike v celoten sistem: uporabnik govori, stroj posluša, razume, razmišlja in odgovori z naravnim glasom.

Arhitektura je sestavljena iz treh povezav. Najprej prepoznavanje govora pretvori govor v besedilo; Mistral ponuja svoj model, enako dobro pa deluje tudi OpenAI-jev Whisper ali druga rešitev. To besedilo nato prejme veliki jezikovni model, ki razlaga zahtevo in pripravi odgovor – Mistral Large 3, Claude, GPT-5.6 ali Llama; potek ne dela predpostavk o ponudniku. Nazadnje se odgovor vrne v Voxtral TTS, ki ga izriše kot govor, poslan prek pretoka.

Funkcionalen potek

Spodnja koda povezuje tri korake. Vsak je izoliran v svoji funkciji, kar ti omogoča zamenjavo modela STT ali LLM, ne da bi se dotaknil preostanka. Upoštevaj, da se zgodovina pogovora posreduje funkciji generer_reponse() in jo ta obogati: to je tisto, kar zaporednim izmenjavam daje koherenco.

import base64
from pathlib import Path
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Configuration
VOICE_ID = "your-voice-id"
LLM_MODEL = "mistral-large-latest"
TTS_MODEL = "voxtral-mini-tts-3-0"

def transcribe_audio(audio_path: str) -> str:
    """Step 1: Convert audio to text (STT)."""
    path = Path(audio_path)
    with path.open("rb") as audio:
        response = client.audio.transcriptions.complete(
            model="voxtral-mini-transcribe-3",
            file={"file_name": path.name, "content": audio},
        )
    return response.text

def generate_response(question: str, history: list) -> str:
    """Step 2: Generate a response with the LLM."""
    history.append({"role": "user", "content": question})

    response = client.chat.complete(
        model=LLM_MODEL,
        messages=history,
    )

    answer = response.choices[0].message.content
    history.append({"role": "assistant", "content": answer})
    return answer

def synthesize_speech(output_file: str, fichier_sortie: str):
    """Step 3: Convert text to speech (TTS)."""
    audio_chunks = []

    with client.audio.speech.complete(
        model=TTS_MODEL,
        input=output_file,
        voice_id=VOICE_ID,
        response_format="pcm",
        stream=True,
    ) as stream:
        for event in stream:
            if event.event == "speech.audio.delta":
                audio_chunks.append(
                    base64.b64decode(event.data.audio_data)
                )

    Path(fichier_sortie).write_bytes(b"".join(audio_chunks))

def pipeline_vocal(audio_path: str):
    """Complete pipeline: STT → LLM → TTS."""
    history = [
        {
            "role": "system",
            "content": (
                "You are a professional voice assistant. "
                "Respond concisely and naturally, "
                "as in an oral conversation."
            ),
        }
    ]

    # Step 1: Transcribe
    print("Transcribing...")
    question = transcribe_audio(audio_path)
    print(f"Question: {question}")

    # Step 2: Reason
    print("Generating response...")
    answer = generate_response(question, history)
    print(f"Response: {answer}")

    # Step 3: Synthesize
    print("Synthesizing speech...")
    synthesize_speech(answer, "answer.pcm")
    print("Pipeline complete — file answer.pcm generated")

# Run the pipeline
pipeline_vocal("question_utilisateur.wav")

Sistemski poziv si zasluži komentar: izrecna zahteva po jedrnatih, govornih odgovorih ni le vljudnost. Neomejen LLM z veseljem ustvari strukturirane odstavke z naslovi, kar je pri branju na glas katastrofalno – in sinteza traja še dlje.

Ne čakaj, da se razmišljanje konča

Prejšnji potek je zaporeden: sinteza se ne začne, dokler LLM ne napiše celotnega odgovora. Pri tridesetih besedah dolgemu odgovoru to doda več sekund tišine, ki jih uporabnik ne more razumeti. Rešitev je prekrivanje korakov 2 in 3: LLM generira v pretoku in takoj, ko je na voljo cel stavek – torej ko se žeton konča s piko, klicajem ali vprašajem – gre v sintezo, medtem ko model nadaljuje s pisanjem preostanka.

def streaming_pipeline(question_text: str):
    """Optimized pipeline: TTS starts as soon as the first
    LLM tokens arrive."""

    # LLM generates in streaming
    partial_response = ""
    phrases_to_synthesize = []

    llm_stream = client.chat.stream(
        model=LLM_MODEL,
        messages=[
            {"role": "system", "content": "Respond briefly."},
            {"role": "user", "content": question_text},
        ],
    )

    for chunk in llm_stream:
        token = chunk.data.choices[0].delta.content or ""
        partial_response += token

        # As soon as a complete sentence is available
        if token.endswith((".", "!", "?")):
            phrases_to_synthesize.append(partial_response)
            partial_response = ""

    # Synthesize each sentence in streaming
    for phrase in phrases_to_synthesize:
        with client.audio.speech.complete(
            model=TTS_MODEL,
            input=phrase,
            voice_id=VOICE_ID,
            response_format="pcm",
            stream=True,
        ) as stream:
            for event in stream:
                if event.event == "speech.audio.delta":
                    yield base64.b64decode(event.data.audio_data)

Pogovorna zanka

Pravi asistent ne obravnava osamljenega vprašanja: povezuje govorne poteze in ohranja rdečo nit. Spodnja zanka snema, prepisuje, preveri, ali želi uporabnik končati, nato odgovori – pri vsaki potezi ponovno vstavi isto historique, ki med izmenjavo raste.

def voice_assistant():
    """Complete conversational loop."""
    history = [
        {
            "role": "system",
            "content": "You are a concise voice assistant.",
        }
    ]

    print("Voice assistant ready. Speak!")

    while True:
        # Record the question (via microphone)
        audio_question = record_microphone(duration=10)

        # STT → LLM → TTS pipeline
        question = transcribe_audio(audio_question)
        if question.lower() in ("stop", "arrête", "au revoir"):
            synthesize_speech("Goodbye!", "sortie.pcm")
            break

        answer = generate_response(question, history)
        synthesize_speech(answer, "sortie.pcm")
        play_audio("sortie.pcm")

Kaj loči ta prototip od proizvodnje

duree=10 pri snemanju ponazarja pot, ki je pred nami: fiksna zakasnitev prisili zgovornega uporabnika, da se prekine, nekdo, ki odgovori z „da”, pa mora čakati deset sekund. Detektor glasovne aktivnosti (VAD) to reši tako, da dejansko zazna konec govora. Nato moraš obravnavati prekinitve, saj bo uporabnik zlahka prekinil asistenta, ki predolgo govori: tvoja koda mora biti sposobna ustaviti sintezo v teku, kar pretok omogoča, tega pa ta prototip ne počne.

Še tri točke so ključne za uvedbo. Zgodovina pogovora, ki je tu že prisotna, mora biti omejena in trajno shranjena, če seje trajajo dlje. Nujna je varnostna kopija – če STT ali TTS odpovesta, prikaži besedilo, namesto da pustiš nepojasnjeno tišino. Nazadnje, instrumentiraj vsak korak v proizvodnji: le tako boš vedel, ali tista dodatna sekunda izvira iz prepisa, LLM ali sinteze.

Naslednji koraki

Zdaj imaš vse, kar potrebuješ za izkoriščanje Voxtral TTS v svojih projektih. Glede na tvoje omejitve se odpirajo različne smeri: gosti Voxtral lokalno, če sta zakasnitev ali nadzor podatkov ključna, integriraj ga v obstoječi okvir, kot so LangChain, LlamaIndex ali Haystack, ali zgradi celotno spletno aplikacijo z WebRTC za dvosmerni zvok. Raziskuješ lahko tudi Mistralove multimodalne modele, ki združujejo besedilo, sliko in zvok, ter se pridružiš skupnosti Mistral na Discordu, da svoje gradnje primerjaš z drugimi.

Ključne ugotovitve

  • Celoten glasovni asistent povezuje tri korake: STT → LLM → TTS
  • Vzporedno izvajanje korakov (generiranje TTS, medtem ko LLM nadaljuje) drastično zmanjša zakasnitev
  • Oblika PCM v pretoku zagotavlja odzivnost, potrebno za naraven pogovor
  • V proizvodnji obravnavaj zaznavanje konca govora, prekinitve in besedilno nadomestilo
  • Voxtral TTS se integrira v kateri koli glasovni potek zahvaljujoč Mistralovemu Python SDK

Preveri svoje znanje

Sinteza, glas, zakasnitev: končni preverjanje pred celotnim potekom.

1. Kaj omogoča API Voices?

Odgovor: Upravljanje razpoložljivih glasov in ustvarjanje prilagojenih – glas postane konfigurirano sredstvo, ki ga lahko ponovno uporabiš pri vseh svojih generiranjih.

2. Katera etična pravila urejajo kloniranje glasov?

Odgovor: Izrecno soglasje klonirane osebe in pregledna, legitimna uporaba – kloniranje glasu brez dovoljenja ni mogoče; tehnična izvedljivost ne pomeni dovoljenja.

3. Kako nadziraš izgovarjavo besedila?

Odgovor: S pripravo besedila: fonetično črkuj dvoumne izraze, obravnavaj akronime in številke, uporabi ločila za ritem – TTS prebere tisto, kar napišeš.

4. Kateri vzvodi zmanjšajo zakasnitev?

Odgovor: Pretok v realnem času (zvok nastaja, ko prihaja besedilo), prilagojene zvočne oblike in segmentirano besedilo – glas se začne, preden se generiranje konča.

5. Kako izgleda celoten glasovni potek?

Odgovor: Prepis uporabnika (Voxtral) → obdelava modela → sinteza odgovora (TTS), pretok od konca do konca: zanka glasovnega asistenta.

Zanka je zaprta: od dohodnega glasu do odhodnega glasu – končni potek tečaja združuje vse, kar si pravkar potrdil.