Wprowadzenie do przetwarzania dźwięku w Mistral AI
Na tej stronie
Kurs zaktualizowany 3 listopada 2026 r. dla modelu Voxtral 3, na podstawie przewodnika Mistral Migrate from Voxtral 2: modele Voxtral 2 (
voxtral-mini-2602,voxtral-mini-transcribe-realtime-2602,voxtral-mini-tts-2603'), wycofane 31 października 2026 r. i całkowicie usunięte 30 kwietnia 2027 r., zostały zastąpione w przykładach modelamivoxtral-mini-transcribe-3,voxtral-mini-transcribe-realtime-3orazvoxtral-mini-tts-3-0. Kluczowe zmiany: znaczniki czasu tylko na poziomie segmentów (żądaniewordzwraca błąd 400), obsługa diaryzacji w czasie rzeczywistym, blokada ustawień sesji streamingowej po przesłaniu pierwszego fragmentu audio oraz dowolne dane wejściowe dlacontext_bias` (frazy zawierające spacje). Źródła: Migrate from Voxtral 2 · Speech to Text.
Rodzina Voxtral: pakiet audio od Mistral AI
Mistral AI wyszło poza ramy samego tekstu. Dzięki rodzinie modeli Voxtral, francuska firma oferuje kompletny zestaw narzędzi dedykowanych mowie: transkrypcji, rozumieniu audio oraz syntezie mowy (tekst na mowę). W tym kursie nauczysz się wykorzystywać te możliwości, aby przekształcać strumienie dźwiękowe w użyteczny tekst, wraz z gotowym kodem w języku Python.
Automatyczne rozpoznawanie mowy (ASR), czyli zamiana mowy na tekst (STT), napędza narzędzia, z których prawdopodobnie korzystasz na co dzień. Napisy w filmach szkoleniowych, protokoły ze spotkań zarządu, asystenci głosowi w obsłudze klienta czy cyfrowa dostępność na stronach publicznych – wszystkie opierają się na tej samej technologii bazowej. Mistral AI wnosi do tej przestrzeni podejście suwerenne, wysokowydajne i szanujące prywatność. Jest to kluczowe, gdy Twoje nagrania zawierają imiona pacjentów, dane klientów lub wewnętrzne deliberacje.
Dwa sposoby transkrypcji
Voxtral obsługuje dwa tryby, które odpowiadają zupełnie innym ograniczeniom. Pierwszy to transkrypcja offline, znana również jako przetwarzanie wsadowe: wysyłasz gotowy plik audio i otrzymujesz jego transkrypcję. Tryb ten idealnie nadaje się do nagranych podcastów, wywiadów terenowych przesyłanych później w ciągu dnia czy zarchiwizowanych wykładów. Zajmują się tym modele Voxtral Mini Transcribe 3 oraz, dla wyższej dokładności, Voxtral Small Transcribe 3, oferujące diaryzację i znaczniki czasu na poziomie segmentów.
Drugi tryb to transkrypcja w czasie rzeczywistym, czyli streaming: audio jest transkrybowane w miarę jego napływania, z konfigurowalnym opóźnieniem od 80 ms do 1,2 sekundy (lub 2,4 sekundy). Nic nie jest wcześniej nagrane; wszystko dzieje się w trakcie mówienia osoby. Tryb ten zasila napisy na żywo podczas webinarów, asystentów głosowych czy narzędzia do dyktowania. Model Voxtral Mini Transcribe Realtime 3 został stworzony właśnie do tego celu. Miej to rozróżnienie stale na uwadze: determinuje ono większość Twoich wyborów technicznych w dalszej części kursu.
Obsługiwane języki
Modele Voxtral 3 do transkrypcji plików obsługują 50 języków, podczas gdy model czasu rzeczywistego wspiera 45 języków i dialektów, w tym język polski. Bez parametru language model automatycznie wykrywa język nagrania; jeśli go znasz, określ go za pomocą dwuliterowego kodu (np. pl).
Co Voxtral oferuje poza surowym tekstem
Sama transkrypcja nie zawsze wystarcza. Diaryzacja automatycznie identyfikuje prelegentów: podczas pięcioosobowego spotkania model rozróżnia, kto i kiedy mówił, zamieniając ścianę tekstu w czytelne podsumowanie. Biasowanie kontekstu (context biasing) pozwala wprowadzić wyspecjalizowane słownictwo – nazwy własne, terminy techniczne, akronimy – aby słowa takie jak „Kubernetes“ czy „RODO“ nie zostały zniekształcone podczas spotkania inżynierskiego.
Znaczniki czasu na poziomie segmentów dostarczają czasu rozpoczęcia i zakończenia dla każdego segmentu transkrypcji, co umożliwia generowanie zsynchronizowanych napisów; Voxtral 3 nie obsługuje już znaczników czasu na poziomie pojedynczych wyrazów. Odporność na szumy utrzymuje wysoką dokładność w trudnych warunkach akustycznych: hałasie w tle, pogłosie sali konferencyjnej czy przy użyciu mikrofonów laptopowych. Możesz wreszcie przesyłać nagrania jako pliki, poprzez adres URL lub z wcześniej przesłanych plików, a odpowiedzi otrzymywać jako strumień, fragment po fragmencie.
Zgodność i suwerenność
Poprzednia generacja modelu czasu rzeczywistego, Voxtral Realtime (voxtral-mini-transcribe-realtime-2602, 4 miliardy parametrów), została wydana jako open weights na licencji Apache 2.0: możesz hostować go we własnym zakresie, nie polegając na zewnętrznym API, nawet po jego wycofaniu z API 30 kwietnia 2027 r.
To ogromna przewaga dla europejskich firm mierzących się ze ścisłymi wymogami regulacyjnymi dotyczącymi przetwarzania danych audio: nagrania ze spotkań, rozmowy z klientami czy konsultacje medyczne nigdy nie opuszczają Twojej infrastruktury.
Czego się nauczysz
Kurs podąża prostą ścieżką. Zaczniesz od zrozumienia trzech modeli Voxtral i wyboru właściwego dla swojego przypadku użycia. Następnie zajmiesz się transkrypcją offline, omawiając API, jego parametry, diaryzację i biasowanie kontekstu. Potem przejdziesz do transkrypcji w czasie rzeczywistym: streamingu, przechwytywania dźwięku z mikrofonu i kontroli opóźnień. Na koniec zajmiemy się wdrożeniem produkcyjnym, obejmującym optymalizację, obsługę błędów i zarządzanie kosztami. Każda lekcja zawiera kompletny, działający kod w Pythonie, który możesz uruchomić bez zmian.
Kluczowe wnioski
- Voxtral to rodzina modeli audio od Mistral AI, obejmująca STT i TTS
- Dwa tryby transkrypcji: offline (pliki) i czas rzeczywisty (streaming, konfigurowalne opóźnienie od 80 ms)
- 50 języków dla plików, 45 dla czasu rzeczywistego, w tym język polski
- Zaawansowane funkcje: diaryzacja, biasowanie kontekstu, znaczniki czasu na poziomie segmentów, odporność na szumy
- Możliwe suwerenne wdrożenie dzięki modelowi czasu rzeczywistego drugiej generacji, dostępnemu jako open weights na licencji Apache 2.0