Kolejne kroki: poza transkrypcją
Na tej stronie
Kurs zaktualizowany 3 listopada 2026 r. dla Voxtral 3, na podstawie przewodnika Mistral Migrate from Voxtral 2: modele Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603), wycofane 31 października 2026 r. i całkowicie usunięte 30 kwietnia 2027 r., zostały zastąpione w przykładach modelamivoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3orazvoxtral-mini-tts-3-0. Kluczowe zmiany: znaczniki czasowe dostępne są tylko na poziomie segmentów (parametrwordzwraca błąd 400), obsługiwana jest diarizacja w czasie rzeczywistym, ustawienia sesji rzeczywistego czasu są blokowane po pierwszym fragmencie audio, a dane wejściowecontext_biasmają dowolny format (frazy ze spacjami). Źródła: Migrate from Voxtral 2 · Speech to Text.
Czego się nauczyłeś
Ukończyłeś podróż przez oba tryby transkrypcji Voxtral. W trybie offline transkrybujesz pliki audio z diarizacją, znacznikami czasowymi i biasowaniem kontekstowym, używając modelu Voxtral Mini Transcribe 3. W trybie rzeczywistym transkrybujesz ciągłe strumienie z konfigurowalnym opóźnieniem za pomocą Voxtral Realtime, przechwytujesz dane z mikrofonu i wykorzystujesz wzorzec podwójnego opóźnienia. Dla każdej z tych możliwości masz teraz gotowy kod w Pythonie i intuicję potrzebną do wdrożenia rozwiązania w środowisku produkcyjnym.
Transkrypcja to jednak tylko połowa sukcesu. Ekosystem audio Mistral AI obsługuje również ścieżkę odwrotną, a połączenie obu kierunków umożliwia tworzenie prawdziwie konwersacyjnych aplikacji.
Voxtral TTS: nadawanie głosu tekstowi
Voxtral TTS jest dokładnym odpowiednikiem transkrypcji: przekształca tekst w naturalną mowę. Obsługuje klonowanie głosu zero-shot, co oznacza, że potrafi odtworzyć głos na podstawie zaledwie dwóch do trzech sekund nagrania, bez wcześniejszego trenowania. Opiera się również na zasadzie „głos jako instrukcja“: model podąża za intonacją, rytmem i emocjami zawartymi w dostarczonym moncie głosowym, więc nie musisz wstawiać do tekstu tagów prozodyjnych – zamiast opisywać pożądany ton, po prostu go demonstrujesz. Zakres obsługiwanych języków obejmuje angielski, francuski, hiszpański, portugalski, włoski, niderlandzki, niemiecki, hindi i arabski. Działa również w trybie strumieniowym, z opóźnieniem modelu wynoszącym około 90 milisekund i czasem do pierwszego fragmentu audio (time-to-first-audio) rzędu 0,8 sekundy w formacie PCM, co czyni go odpowiednim do prowadzenia rozmów na żywo.
W praktyce Voxtral TTS nadaje głos Twoim aplikacjom: wirtualnym asystentom, systemom automatycznej narracji, narzędziom dostępności oraz dubbingowi.
Kompletny potok: STT, LLM, TTS
Połączone razem, te trzy komponenty tworzą zamkniętą pętlę. Audio użytkownika staje się tekstem, tekst jest rozumiany i przetwarzany przez model językowy, a odpowiedź ponownie zamieniana jest w audio.
User Audio → Voxtral STT → Text
↓
Mistral LLM (reasoning)
↓
Text Response → Voxtral TTS → Audio Response
Poniższy kod implementuje ten potok. Dwa pierwsze kroki są Ci już znane: transkrypcja strumieniowa z opóźnieniem 300 milisekund w celu przechwycenia pytania, a następnie wywołanie LLM z promptem systemowym wymuszającym styl mówiony. Trzeci krok pozostaje zakomentowany, ponieważ API syntezy jest omawiane w dedykowanym kursie; wzorzec wywołania został tu uwzględniony, aby pokazać, gdzie pasuje w całości.
import asyncio
import os
from mistralai.client import Mistral
from mistralai.client.models import (
AudioFormat,
TranscriptionStreamTextDelta,
TranscriptionStreamDone
)
async def pipeline_vocal_complet(source_audio_utilisateur):
"""Complete pipeline: listen, understand, respond."""
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Step 1: Transcribe user speech (STT)
audio_format = AudioFormat(encoding="pcm_s16le", sample_rate=16000)
question_parts = []
print("Listening...", flush=True)
async for event in client.audio.realtime.transcribe_stream(
audio_stream=source_audio_utilisateur,
model="voxtral-mini-transcribe-realtime-3",
audio_format=audio_format,
target_streaming_delay_ms=300,
):
if isinstance(event, TranscriptionStreamTextDelta):
question_parts.append(event.text)
elif isinstance(event, TranscriptionStreamDone):
break
question = "".join(question_parts).strip()
print(f"Question: {question}")
# Step 2: Generate an intelligent response (LLM)
reponse_llm = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a voice assistant. "
"Respond concisely and naturally, "
"as in a spoken conversation."
},
{"role": "user", "content": question}
]
)
reponse_texte = reponse_llm.choices[0].message.content
print(f"Response: {reponse_texte}")
# Step 3: Synthesize the response into audio (TTS)
# Note: The TTS API will be covered in a dedicated course
# Here is the call pattern:
#
# audio_response = client.audio.speech.complete(
# model="voxtral-mini-tts-3-0",
# input=reponse_texte,
# voice_id="gb_jane_neutral",
# response_format="wav",
# )
# Audio arrives base64-encoded in audio_response.audio_data
#
# Play audio via a player (PyAudio, sounddevice, etc.)
return {
"question": question,
"reponse": reponse_texte
}
Co umożliwia ten potok
Głosowy asystent przedsiębiorstwa to najbardziej oczywista aplikacja: rozumie pytania pracowników i odpowiada, korzystając z wewnętrznej bazy wiedzy. Transkrypcja w czasie rzeczywistym przechwytuje pytanie, LLM odpytuje bazę wektorową poprzez RAG, a TTS odczytuje odpowiedź na głos.
Agent centrum kontaktowego idzie o krok dalej, wykorzystując jednocześnie oba tryby transkrypcji. Podczas rozmowy Voxtral Realtime transkrybuje konwersację na żywo; Mistral LLM analizuje intencje klienta; Voxtral TTS formułuje odpowiedź głosową. Po zakończeniu połączenia, przetworzenie offline z diarizacją generuje ustrukturyzowane podsumowanie wskazujące, kto co powiedział – czego tryb rzeczywisty nie jest w stanie dostarczyć z taką precyzją.
Narzędzie do tłumaczenia głosowego łączy trzy modele w jednym strumieniu: Voxtral STT transkrybuje mowę źródłową w jednym z 50 języków, Mistral LLM tłumaczy tekst, a Voxtral TTS renderuje wynik w jednym z 9 języków docelowych. Wreszcie, automatyczna narracja zamienia artykuły, raporty lub e-maile w format audio do odsłuchu mobilnego, przy czym LLM adaptuje tekst pod kątem wypowiedzi ustnej przed syntezą.
W pełni suwerenny potok głosowy
Decydującą zaletą tego ekosystemu jest możliwość hostowania wszystkiego na własnej infrastrukturze. Voxtral Realtime jest udostępniany jako otwarte wagi (open weights) na licencji Apache 2.0 i może być wdrażany na własnych serwerach. Mistral Large 3 jest dostępny poprzez europejskich partnerów chmurowych lub w modelu on-premise. Voxtral TTS również obsługuje wdrożenia prywatne. Innymi słowy, cały łańcuch – słuchanie, rozumienie, odpowiadanie – może działać bez wypływania jakichkolwiek danych poza Twoją infrastrukturę. W sektorach takich jak ochrona zdrowia, obronność, finanse czy administracja publiczna nie jest to jedynie wygoda; decyduje to o tym, czy projekt w ogóle jest wykonalny.
Gdzie dalej?
Oficjalna dokumentacja Mistral poświęca osobne strony zagadnieniom audio i pozostaje głównym źródłem informacji dotyczących aktualizacji modeli i API. Hugging Face Hub hostuje modele Voxtral jako otwarte wagi, wraz z dokumentacją i przykładami. Forum Mistral gromadzi relacje z pola walki, często bliższe Twoim rzeczywistym ograniczeniom niż oficjalne dema, a pozostałe kursy Corsen Academy obejmują resztę ekosystemu Mistral AI.
Podsumowanie kursu
Znasz już modele Voxtral i ich odpowiednie role: Mini Transcribe V2 do zastosowań offline, Realtime do streamingu oraz Small do czatu głosowego. Opanowałeś transkrypcję offline we wszystkich jej wymiarach – wywołania API, znaczniki czasowe, diarizację, biasowanie kontekstowe – jak również transkrypcję w czasie rzeczywistym ze streamowaniem, przechwytywaniem mikrofonu przez PyAudio, kontrolą opóźnień i wzorcem podwójnego opóźnienia. Stworzyłeś kompletne przypadki użycia, od napisów i protokołów ze spotkań, przez dyktowanie, asystentów głosowych, aż po konferencje, i wiesz, jak uruchomić to wszystko w środowisku produkcyjnym. Brakuje już tylko głosu zwrotnego, aby domknąć pętlę konwersacji.
Kluczowe wnioski
- Voxtral TTS domyka pętlę: STT (transkrypcja), następnie LLM (rozumowanie), a potem TTS (synteza)
- Kompletny potok głosowy umożliwia tworzenie asystentów głosowych, agentów centrów kontaktowych i translatorów
- Suwerenne wdrożenie jest możliwe dzięki modelom z otwartymi wagami (Apache 2.0)
- Transkrypcja jest fundamentem aplikacji głosowych
- Kontynuuj naukę dzięki kursom dedykowanym TTS i zaawansowanym potokom głosowym
Sprawdź swoją wiedzę
Offline, czas rzeczywisty, produkcja: transkrypcja z każdej perspektywy.
1. Offline czy czas rzeczywisty: jak wybrać?
Odpowiedź: Offline dla istniejących plików (nagrane spotkania, archiwa), gdzie liczy się maksymalna dokładność; czas rzeczywisty dla scenariuszy na żywo (napisy, asystenci głosowi), gdzie kluczowe jest niskie opóźnienie.
2. Co dają znaczniki czasowe i diarizacja?
Odpowiedź: Znaczniki czasowe lokalizują każdy segment w czasie (napisy, nawigacja); diarizacja identyfikuje mówcę – razem zamieniają audio w działające podsumowanie.
3. Do czego służy biasowanie kontekstowe?
Odpowiedź: Do zasugerowania modelowi oczekiwanego słownictwa (nazwy własne, terminy branżowe), co poprawia dokładność tam, gdzie ogólna transkrypcja zawodzi.
4. Jakie są składniki rozwiązania czasu rzeczywistego w Pythonie?
Odpowiedź: Przechwytywanie mikrofonu (PyAudio), streamowanie do API oraz zarządzanie kompromisem między opóźnieniem a dokładnością – parametry opóźnienia dostosowuje się w zależności od przypadku użycia.
5. Co monitorujesz w środowisku produkcyjnym?
Odpowiedź: Jakość audio wejściowego, koszty za godzinę transkrypcji, opóźnienie end-to-end oraz błędy w kluczowym słownictwie – z biasowaniem i testowaniem jako dźwigniami optymalizacji.
Wybór między trybem offline a czasem rzeczywistym strukturyzuje wszystko inne – przewodnik kursu daje Ci ramy, a Twoje przypadki użycia determinują decyzję.