Formaty audio i optymalizacja
Na tej stronie
Wybierz właściwy format dla każdego kontekstu
Format audio to ustawienie, które często pomijasz na początku, by później tego żałować. To właśnie ono decyduje o postrzeganej jakości, przepustowości zużywanej przy każdym odtworzeniu oraz kompatybilności z Twoją platformą docelową. Podcast dostarczany jako surowe PCM drastycznie zwiększy koszty dystrybucji, a strumień telefoniczny o częstotliwości 24 000 Hz zostanie poddany transkodowaniu po drodze, co nieuchronnie pogorszy jego jakość. W tej lekcji przeanalizujemy dostępne formaty i zasady wyboru między nimi.
Obsługiwane kodeki
| Kodek | Typ MIME | Kompresja | Główne zastosowanie |
|---|---|---|---|
mp3 | audio/mpeg | Stratna | Sieć, urządzenia mobilne, podcasty |
wav | audio/wav | Bezstratna | Postprodukcja, archiwizacja |
pcm | audio/pcm | Brak (surowe) | Potoki audio, Voice Agent |
mulaw | audio/basic | Logarytmiczna | Telefonia (Ameryka, Japonia) |
alaw | audio/alaw | Logarytmiczna | Telefonia (Europa, międzynarodowa) |
MP3 pokrywa większość potrzeb dystrybucji konsumenckiej. WAV służy do audio, które wymaga jeszcze edycji lub musi zostać zachowane bez strat. PCM to format wymiany w potokach czasu rzeczywistego, w tym w Voice Agent, ponieważ jego dekodowanie nie generuje żadnych narzutów. Mu-law i A-law istnieją wyłącznie na potrzeby telefonii i nie mają powodu pojawiać się gdzie indziej.
Częstotliwości próbkowania
Częstotliwość próbkowania określa ziarnistość sygnału: im wyższa, tym lepiej słyszalne są wysokie tony, ale tym większy jest plik.
| Częstotliwość próbkowania | Jakość | Zastosowanie |
|---|---|---|
| 8 000 Hz | Telefonia | VoIP, SIP, G.711 |
| 16 000 Hz | Mowa szerokopasmowa | Transkrypcja, rozpoznawanie mowy |
| 22 050 Hz | Radio FM | Podcasty, powiadomienia |
| 24 000 Hz | Standard TTS (domyślnie) | Zastosowania ogólne |
| 44 100 Hz | Audio CD | Produkcja muzyczna, audiobooki |
| 48 000 Hz | Wideo/nadawanie | Postprodukcja, broadcasting |
W praktyce wystarczą trzy przypadki. Telefonia wymaga bezwzględnie 8 000 Hz – taki jest wymóg standardu G.711. Aplikacje webowe i mobilne doskonale radzą sobie z domyślnymi 24 000 Hz, co stanowi najlepszy kompromis między jakością a przepustowością dla głosu. Prace produkcyjne, takie jak audiobooki czy ścieżki dźwiękowe do wideo, uzasadniają użycie 44 100 Hz lub 48 000 Hz, ponieważ plik będzie mieszany, normalizowany i prawdopodobnie ponownie kodowany, a każdy z tych kroków nieco obniża jakość.
Szybkości bitowe MP3
W przypadku kodeka MP3 szybkość bitowa określa stopień kompresji, a tym samym finalny rozmiar pliku.
| Szybkość bitowa | Jakość | Rozmiar dla 1 minuty |
|---|---|---|
| 32 000 bps | Niska | ~240 KB |
| 64 000 bps | Średnia | ~480 KB |
| 96 000 bps | Dobra | ~720 KB |
| 128 000 bps (domyślnie) | Bardzo dobra | ~960 KB |
| 192 000 bps | Doskonała | ~1,4 MB |
Mowa zajmuje jedynie wąski wycinek widma: 128 kbps już odwzorowuje ją bardzo dobrze, a zwiększenie do 192 kbps powiększa Twój katalog o połowę, bez żadnej różnicy słyszalnej dla odbiorcy przy treści mówionej. Najwyższy poziom zostaw dla produkcji premium lub fragmentów muzycznych.
Konwersja audio w Pythonie
Voice Agent dostarcza surowe, zakodowane w base64 dane PCM, a w niemal każdym projekcie pojawiają się dwie konwersje. Pierwsza zamienia ten strumień w tablicę numpy znormalizowaną w zakresie od -1 do 1, co jest formatem oczekiwanym przez większość bibliotek przetwarzania sygnałów, a druga działa w odwrotnym kierunku, aby wysłać audio z powrotem do API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Druga operacja opakowuje PCM w kontener WAV. Bez tego nagłówka odtwarzacz audio nie wie ani ile jest kanałów, ani jaką przyjąć częstotliwość próbkowania, przez co albo odrzuci plik, albo odtworzy go z niewłaściwą prędkością.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optymalizacja pod miejsce docelowe
W aplikacjach webowych trzymaj się MP3 128 kbps przy 24 000 Hz dla TTS oraz PCM 24 000 Hz dla Voice Agent, co jest wymagane przy strumieniowaniu dwukierunkowym. Statyczne zasoby audio, takie jak dżingle i nagrane komunikaty, przekonwertuj do MP3 raz na zawsze, zamiast serwować każdemu odwiedzającemu ciężkie pliki WAV.
W telefonii pozostań ściśle przy G.711 z częstotliwością 8 000 Hz i skonfiguruj Voice Agent bezpośrednio w tym formacie: każde transkodowanie w czasie rzeczywistym dodaje opóźnienia, na które nie możesz sobie pozwolić.
W przypadku przechowywania oddziel archiwizację od dystrybucji: master pozostaje w formacie WAV 24 000 Hz, gotowy do dalszej obróbki, a dystrybuujesz MP3 128 kbps, który jest znacznie lżejszy. Ta sama treść, dwa pliki, dwa cele.
Zarządzanie pamięcią w przeglądarce
Podczas odtwarzania strumieniowego każde wywołanie URL.createObjectURL rezerwuje pamięć, której przeglądarka nie zwalnia samodzielnie. Podczas długiej sesji adresy URL te kumulują się, aż zakładka zaczyna działać niezwykle wolno. Unieważnij poprzedni adres przed utworzeniem nowego:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Zwolnij poprzedni URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Odtwórz audio...
}
Interpretacja kodów błędów TTS
| Kod | Znaczenie | Działanie |
|---|---|---|
| 200 | Sukces | Audio w treści odpowiedzi |
| 400 | Błędne żądanie | Sprawdź tekst, kodek i częstotliwość próbkowania |
| 401 | Nieautoryzowany | Sprawdź klucz API |
| 429 | Przekroczony limit | Zaimplementuj wykładnicze opóźnianie (exponential backoff) |
| 500/503 | Błąd serwera | Ponów próbę z opóźnieniem |
Błędy 400 naprawiasz w kodzie i same nie znikną: wynikają z niekompatybilnego parametru, zazwyczaj częstotliwości próbkowania nieakceptowanej przez wybrany kodek. Z kolei błędy 429 i 5xx wymagają tej samej reakcji: wykładniczego opóźniania, z czasami oczekiwania podwajanymi przy każdej próbie. Natychmiastowa pętla ponawiania tylko pogarsza sprawę, bombardując limit, który właśnie przekroczyłeś.
Kluczowe wnioski
- Dostępnych jest pięć kodeków: MP3, WAV, PCM, mu-law i A-law, każdy dopasowany do konkretnego kontekstu
- Domyślna częstotliwość próbkowania to 24 000 Hz; użyj 8 000 Hz dla telefonii, a 44 100 Hz lub więcej dla produkcji
- MP3 128 kbps oferuje najlepszy kompromis między jakością a rozmiarem dla głosu mówionego
- Zarządzaj adresami URL obiektów Blob w przeglądarce, aby uniknąć wycieków pamięci
- Zaimplementuj wykładnicze opóźnianie, aby obsługiwać błędy 429 (limitowanie szybkości) i 5xx
Sprawdź swoją wiedzę
Voice Agent i TTS: głos od początku do końca w pięciu pytaniach.
1. Jak działa sesja Voice Agent?
Odpowiedź: Przez WebSocket w czasie rzeczywistym. Konfigurujesz sesję (głos, osobowość, instrukcje), a następnie zdarzenia płyną w obie strony: audio użytkownika w jednym kierunku, a mówione odpowiedzi agenta w drugim.
2. Co umożliwia wywoływanie funkcji (function calling) w głosie?
Odpowiedź: Agent głosowy wywołuje Twoje narzędzia w trakcie rozmowy, aby sprawdzić konto, dokonać rezerwacji lub podjąć działanie. Głos staje się kompletnym interfejsem, a nie tylko maszyną do dyktowania.
3. Co dodają ekspresyjne tagi TTS?
Odpowiedź: Kontrolę nad mową: intonację, pauzy, akcenty. Synteza przestaje brzmieć monotonnie i podąża za intencją tekstu we wszystkich obsługiwanych językach.
4. Dlaczego istotne są tokeny jednorazowe (ephemeral)?
Odpowiedź: Pozwalają klientowi (przeglądarce lub aplikacji mobilnej) połączyć się z usługą głosową bez ujawniania głównego klucza API. Poświadczenia są krótkotrwałe, ograniczone do sesji głosowej i wygasają samoistnie, co zapewnia bezpieczeństwo głosu w czasie rzeczywistym.
5. Co pozwalają kontrolować formaty audio?
Odpowiedź: Kompromis między jakością, opóźnieniem a przepustowością: wybór formatu i częstotliwości próbkowania dopasowanych do kanału (sieć, telefonia SIP, LiveKit). To optymalizacja, która pozwala Ci doprowadzić projekt do końca.
Sesja, narzędzia, ekspresyjność, bezpieczeństwo, formaty: kompletny asystent głosowy w tym kursie łączy wszystkie te pięć elementów, a Twój projekt podąży tym samym planem.