Przejdź do głównej treści
Polski— Wybierz język
Menu

Kolejne kroki: poza transkrypcją

Lekcja 16 z 16 Zaktualizowano 3 listopada 2026 Programista
Na tej stronie
  1. Czego się nauczyłeś
  2. Voxtral TTS: nadawanie głosu tekstowi
  3. Kompletny potok: STT, LLM, TTS
  4. Co umożliwia ten potok
  5. W pełni suwerenny potok głosowy
  6. Gdzie dalej?
  7. Podsumowanie kursu
  8. Kluczowe wnioski
  9. Sprawdź swoją wiedzę

Kurs zaktualizowany 3 listopada 2026 r. dla Voxtral 3, na podstawie przewodnika Mistral Migrate from Voxtral 2: modele Voxtral 2 (voxtral-mini-2602, voxtral-mini-transcribe-realtime-2602, voxtral-mini-tts-2603), wycofane 31 października 2026 r. i całkowicie usunięte 30 kwietnia 2027 r., zostały zastąpione w przykładach modelami voxtral-mini-transcribe-3, voxtral-mini-transcribe-realtime-3 oraz voxtral-mini-tts-3-0. Kluczowe zmiany: znaczniki czasowe dostępne są tylko na poziomie segmentów (parametr word zwraca błąd 400), obsługiwana jest diarizacja w czasie rzeczywistym, ustawienia sesji rzeczywistego czasu są blokowane po pierwszym fragmencie audio, a dane wejściowe context_bias mają dowolny format (frazy ze spacjami). Źródła: Migrate from Voxtral 2 · Speech to Text.

Czego się nauczyłeś

Ukończyłeś podróż przez oba tryby transkrypcji Voxtral. W trybie offline transkrybujesz pliki audio z diarizacją, znacznikami czasowymi i biasowaniem kontekstowym, używając modelu Voxtral Mini Transcribe 3. W trybie rzeczywistym transkrybujesz ciągłe strumienie z konfigurowalnym opóźnieniem za pomocą Voxtral Realtime, przechwytujesz dane z mikrofonu i wykorzystujesz wzorzec podwójnego opóźnienia. Dla każdej z tych możliwości masz teraz gotowy kod w Pythonie i intuicję potrzebną do wdrożenia rozwiązania w środowisku produkcyjnym.

Transkrypcja to jednak tylko połowa sukcesu. Ekosystem audio Mistral AI obsługuje również ścieżkę odwrotną, a połączenie obu kierunków umożliwia tworzenie prawdziwie konwersacyjnych aplikacji.

Voxtral TTS: nadawanie głosu tekstowi

Voxtral TTS jest dokładnym odpowiednikiem transkrypcji: przekształca tekst w naturalną mowę. Obsługuje klonowanie głosu zero-shot, co oznacza, że potrafi odtworzyć głos na podstawie zaledwie dwóch do trzech sekund nagrania, bez wcześniejszego trenowania. Opiera się również na zasadzie „głos jako instrukcja“: model podąża za intonacją, rytmem i emocjami zawartymi w dostarczonym moncie głosowym, więc nie musisz wstawiać do tekstu tagów prozodyjnych – zamiast opisywać pożądany ton, po prostu go demonstrujesz. Zakres obsługiwanych języków obejmuje angielski, francuski, hiszpański, portugalski, włoski, niderlandzki, niemiecki, hindi i arabski. Działa również w trybie strumieniowym, z opóźnieniem modelu wynoszącym około 90 milisekund i czasem do pierwszego fragmentu audio (time-to-first-audio) rzędu 0,8 sekundy w formacie PCM, co czyni go odpowiednim do prowadzenia rozmów na żywo.

W praktyce Voxtral TTS nadaje głos Twoim aplikacjom: wirtualnym asystentom, systemom automatycznej narracji, narzędziom dostępności oraz dubbingowi.

Kompletny potok: STT, LLM, TTS

Połączone razem, te trzy komponenty tworzą zamkniętą pętlę. Audio użytkownika staje się tekstem, tekst jest rozumiany i przetwarzany przez model językowy, a odpowiedź ponownie zamieniana jest w audio.

User Audio → Voxtral STT → Text
                             ↓
                      Mistral LLM (reasoning)
                             ↓
                   Text Response → Voxtral TTS → Audio Response

Poniższy kod implementuje ten potok. Dwa pierwsze kroki są Ci już znane: transkrypcja strumieniowa z opóźnieniem 300 milisekund w celu przechwycenia pytania, a następnie wywołanie LLM z promptem systemowym wymuszającym styl mówiony. Trzeci krok pozostaje zakomentowany, ponieważ API syntezy jest omawiane w dedykowanym kursie; wzorzec wywołania został tu uwzględniony, aby pokazać, gdzie pasuje w całości.

import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
    AudioFormat,
    TranscriptionStreamTextDelta,
    TranscriptionStreamDone
)

async def pipeline_vocal_complet(source_audio_utilisateur):
    """Complete pipeline: listen, understand, respond."""
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    # Step 1: Transcribe user speech (STT)
    audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
    question_parts = []

    print("Listening...", flush=True)

    async for event in client.audio.realtime.transcribe_stream(
        audio_stream=source_audio_utilisateur,
        model="voxtral-mini-transcribe-realtime-3",
        audio_format=audio_format,
        target_streaming_delay_ms=300,
    ):
        if isinstance(event, TranscriptionStreamTextDelta):
            question_parts.append(event.text)
        elif isinstance(event, TranscriptionStreamDone):
            break

    question = "".join(question_parts).strip()
    print(f"Question: {question}")

    # Step 2: Generate an intelligent response (LLM)
    reponse_llm = client.chat.complete(
        model="mistral-large-latest",
        messages=[
            {
                "role": "system",
                "content": "You are a voice assistant. "
                           "Respond concisely and naturally, "
                           "as in a spoken conversation."
            },
            {"role": "user", "content": question}
        ]
    )

    reponse_texte = reponse_llm.choices[0].message.content
    print(f"Response: {reponse_texte}")

    # Step 3: Synthesize the response into audio (TTS)
    # Note: The TTS API will be covered in a dedicated course
    # Here is the call pattern:
    #
    # audio_response = client.audio.speech.complete(
    #     model="voxtral-mini-tts-3-0",
    #     input=reponse_texte,
    #     voice_id="gb_jane_neutral",
    #     response_format="wav",
    # )
    # Audio arrives base64-encoded in audio_response.audio_data
    #
    # Play audio via a player (PyAudio, sounddevice, etc.)

    return {
        "question": question,
        "reponse": reponse_texte
    }

Co umożliwia ten potok

Głosowy asystent przedsiębiorstwa to najbardziej oczywista aplikacja: rozumie pytania pracowników i odpowiada, korzystając z wewnętrznej bazy wiedzy. Transkrypcja w czasie rzeczywistym przechwytuje pytanie, LLM odpytuje bazę wektorową poprzez RAG, a TTS odczytuje odpowiedź na głos.

Agent centrum kontaktowego idzie o krok dalej, wykorzystując jednocześnie oba tryby transkrypcji. Podczas rozmowy Voxtral Realtime transkrybuje konwersację na żywo; Mistral LLM analizuje intencje klienta; Voxtral TTS formułuje odpowiedź głosową. Po zakończeniu połączenia, przetworzenie offline z diarizacją generuje ustrukturyzowane podsumowanie wskazujące, kto co powiedział – czego tryb rzeczywisty nie jest w stanie dostarczyć z taką precyzją.

Narzędzie do tłumaczenia głosowego łączy trzy modele w jednym strumieniu: Voxtral STT transkrybuje mowę źródłową w jednym z 50 języków, Mistral LLM tłumaczy tekst, a Voxtral TTS renderuje wynik w jednym z 9 języków docelowych. Wreszcie, automatyczna narracja zamienia artykuły, raporty lub e-maile w format audio do odsłuchu mobilnego, przy czym LLM adaptuje tekst pod kątem wypowiedzi ustnej przed syntezą.

W pełni suwerenny potok głosowy

Decydującą zaletą tego ekosystemu jest możliwość hostowania wszystkiego na własnej infrastrukturze. Voxtral Realtime jest udostępniany jako otwarte wagi (open weights) na licencji Apache 2.0 i może być wdrażany na własnych serwerach. Mistral Large 3 jest dostępny poprzez europejskich partnerów chmurowych lub w modelu on-premise. Voxtral TTS również obsługuje wdrożenia prywatne. Innymi słowy, cały łańcuch – słuchanie, rozumienie, odpowiadanie – może działać bez wypływania jakichkolwiek danych poza Twoją infrastrukturę. W sektorach takich jak ochrona zdrowia, obronność, finanse czy administracja publiczna nie jest to jedynie wygoda; decyduje to o tym, czy projekt w ogóle jest wykonalny.

Gdzie dalej?

Oficjalna dokumentacja Mistral poświęca osobne strony zagadnieniom audio i pozostaje głównym źródłem informacji dotyczących aktualizacji modeli i API. Hugging Face Hub hostuje modele Voxtral jako otwarte wagi, wraz z dokumentacją i przykładami. Forum Mistral gromadzi relacje z pola walki, często bliższe Twoim rzeczywistym ograniczeniom niż oficjalne dema, a pozostałe kursy Corsen Academy obejmują resztę ekosystemu Mistral AI.

Podsumowanie kursu

Znasz już modele Voxtral i ich odpowiednie role: Mini Transcribe V2 do zastosowań offline, Realtime do streamingu oraz Small do czatu głosowego. Opanowałeś transkrypcję offline we wszystkich jej wymiarach – wywołania API, znaczniki czasowe, diarizację, biasowanie kontekstowe – jak również transkrypcję w czasie rzeczywistym ze streamowaniem, przechwytywaniem mikrofonu przez PyAudio, kontrolą opóźnień i wzorcem podwójnego opóźnienia. Stworzyłeś kompletne przypadki użycia, od napisów i protokołów ze spotkań, przez dyktowanie, asystentów głosowych, aż po konferencje, i wiesz, jak uruchomić to wszystko w środowisku produkcyjnym. Brakuje już tylko głosu zwrotnego, aby domknąć pętlę konwersacji.

Kluczowe wnioski

  • Voxtral TTS domyka pętlę: STT (transkrypcja), następnie LLM (rozumowanie), a potem TTS (synteza)
  • Kompletny potok głosowy umożliwia tworzenie asystentów głosowych, agentów centrów kontaktowych i translatorów
  • Suwerenne wdrożenie jest możliwe dzięki modelom z otwartymi wagami (Apache 2.0)
  • Transkrypcja jest fundamentem aplikacji głosowych
  • Kontynuuj naukę dzięki kursom dedykowanym TTS i zaawansowanym potokom głosowym

Sprawdź swoją wiedzę

Offline, czas rzeczywisty, produkcja: transkrypcja z każdej perspektywy.

1. Offline czy czas rzeczywisty: jak wybrać?

Odpowiedź: Offline dla istniejących plików (nagrane spotkania, archiwa), gdzie liczy się maksymalna dokładność; czas rzeczywisty dla scenariuszy na żywo (napisy, asystenci głosowi), gdzie kluczowe jest niskie opóźnienie.

2. Co dają znaczniki czasowe i diarizacja?

Odpowiedź: Znaczniki czasowe lokalizują każdy segment w czasie (napisy, nawigacja); diarizacja identyfikuje mówcę – razem zamieniają audio w działające podsumowanie.

3. Do czego służy biasowanie kontekstowe?

Odpowiedź: Do zasugerowania modelowi oczekiwanego słownictwa (nazwy własne, terminy branżowe), co poprawia dokładność tam, gdzie ogólna transkrypcja zawodzi.

4. Jakie są składniki rozwiązania czasu rzeczywistego w Pythonie?

Odpowiedź: Przechwytywanie mikrofonu (PyAudio), streamowanie do API oraz zarządzanie kompromisem między opóźnieniem a dokładnością – parametry opóźnienia dostosowuje się w zależności od przypadku użycia.

5. Co monitorujesz w środowisku produkcyjnym?

Odpowiedź: Jakość audio wejściowego, koszty za godzinę transkrypcji, opóźnienie end-to-end oraz błędy w kluczowym słownictwie – z biasowaniem i testowaniem jako dźwigniami optymalizacji.

Wybór między trybem offline a czasem rzeczywistym strukturyzuje wszystko inne – przewodnik kursu daje Ci ramy, a Twoje przypadki użycia determinują decyzję.