Formáty zvuku a optimalizácia
Na tejto strane
Výber správneho formátu pre každý kontext
Formát zvuku je jedno z tých nastavení, ktoré na začiatku rýchlo odklikneš a neskôr ich ľutuješ. Práve on však určuje vnímanú kvalitu, šírku pásma spotrebovanú pri každom prehratí a kompatibilitu s cieľovou platformou. Podcast doručený ako surový PCM nafúkne tvoje distribučné náklady a telefónny stream na 24 000 Hz prejde počas cesty transkódovaním so všetkou následnou degradáciou kvality. Táto lekcia prehľadáva dostupné formáty a spôsob, ako si medzi nimi vybrať.
Podporované kodeky
| Kodek | Typ MIME | Kompresia | Hlavné použitie |
|---|---|---|---|
mp3 | audio/mpeg | So stratami | Web, mobil, podcasty |
wav | audio/wav | Bez strát | Postprodukcia, archivácia |
pcm | audio/pcm | Žiadna (surový) | Zvukové pipeline, Voice Agent |
mulaw | audio/basic | Logaritmická | Telefónia (Amerika, Japonsko) |
alaw | audio/alaw | Logaritmická | Telefónia (Európa, medzinárodne) |
MP3 pokrýva väčšinu spotrebiteľskej distribúcie. WAV slúži pre zvuk, ktorý ešte potrebuje úpravy alebo musí zostať bez strát. PCM je výmenným formátom pre pipeline v reálnom čase, vrátane Voice Agent, pretože jeho dekódovanie nič nestojí. Mu-law a A-law existujú výlučne pre telefóniu a nemajú dôvod objavovať sa inde.
Vzorkovacie frekvencie
Vzorkovacia frekvencia určuje jemnosť signálu: čím vyššia je, tým lepšie prejdú vysoké frekvencie, ale tým väčší je aj súbor.
| Vzorkovacia frekvencia | Kvalita | Použitie |
|---|---|---|
| 8 000 Hz | Telefónia | VoIP, SIP, G.711 |
| 16 000 Hz | Širokopásmová reč | Prepis, rozpoznávanie reči |
| 22 050 Hz | FM rádio | Podcasty, upozornenia |
| 24 000 Hz | Štandard TTS (predvolené) | Všeobecné použitie |
| 44 100 Hz | CD audio | Hudobná produkcia, audioknihy |
| 48 000 Hz | Video/vysielanie | Postprodukcia, vysielanie |
V praxi stačia tri prípady. Telefónia si vyžaduje 8 000 Hz, bez diskusie: to je požiadavka štandardu G.711. Web a mobil si vystačia s predvolenými 24 000 Hz, čo je najlepší kompromis medzi kvalitou a šírkou pásma pre hlas. Produkčná práca, ako je audiokniha alebo zvuková stopa videa, si vyžaduje 44 100 alebo 48 000 Hz, pretože súbor bude mixovaný, normalizovaný a prípadne opätovne kódovaný, pričom každý krok trochu uberá na kvalite.
Bitové rýchlosti MP3
Pri kodeku MP3 určuje bitová rýchlosť kompresiu, a teda aj výslednú veľkosť súboru.
| Bitová rýchlosť | Kvalita | Veľkosť za 1 min |
|---|---|---|
| 32 000 bps | Nízka | ~240 KB |
| 64 000 bps | Stredná | ~480 KB |
| 96 000 bps | Dobrá | ~720 KB |
| 128 000 bps (predvolené) | Veľmi dobrá | ~960 KB |
| 192 000 bps | Výborná | ~1,4 MB |
Reč zaberá len malú časť spektra: 128 kbps ju už reprodukuje veľmi dobre a zvýšenie na 192 kbps len zväčší tvoj katalóg o polovicu bez toho, aby poslucháč pri hovorenom obsahu počul rozdiel. Tú najvyššiu úroveň si nechaj pre prémiové produkcie alebo hudobné pasáže.
Konverzia zvuku v Pythone
Voice Agent doručuje surové, base64 kódované PCM a v takmer každom projekte sa vyskytnú dve konverzie. Prvá mení tento stream na pole numpy normalizované medzi -1 a 1, čo je formát, ktorý očakáva väčšina knižníc na správu signálu, a ide opačným smerom pri odosielaní zvuku späť do API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Druhá obalí PCM do kontajnera WAV. Bez tejto hlavičky zvukový prehrávač nevie, koľko kanálov ani akú vzorkovaciu frekvenciu predpokladať, a buď súbor odmietne, alebo ho prehrá nesprávnou rýchlosťou.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimalizácia pre cieľové miesto
Pre webovú aplikáciu používaj MP3 s bitovou rýchlosťou 128 kbps pri 24 000 Hz pre TTS a PCM pri 24 000 Hz pre Voice Agent, čo vyžaduje obojsmerné streamovanie. Statické zvukové aktíva, ako sú znelky a vopred nahrané správy, skonvertuj na MP3 raz navždy namiesto toho, aby si každému návštevníkovi servíroval WAV.
Pre telefóniu zostaň striktne pri G.711 na 8 000 Hz a nakonfiguruj Voice Agent priamo v tomto formáte: akékoľvek transkódovanie v reálnom čase pridáva latenciu, ktorú si nemôžeš dovoliť stratiť.
Pre úložisko oddeľ archiváciu od distribúcie: majster zostáva vo WAV na 24 000 Hz, pripravený na ďalšie úpravy, a distribuuješ MP3 na 128 kbps, ktoré je oveľa ľahšie. Ten istý obsah, dva súbory, dva účely.
Správa pamäte v prehliadači
Počas streamovaného prehrávania si každé volanie URL.createObjectURL rezervuje pamäť, ktorú prehliadač neuvoľní sám od seba. Počas dlhej relácie sa tieto URL hromadia, až sa karta začne spomaľovať. Pred vytvorením novej URL zruš predchádzajúcu:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Uvoľni predchádzajúcu URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Prehraj zvuk...
}
Interpretácia chybových kódov TTS
| Kód | Význam | Akcia |
|---|---|---|
| 200 | Úspech | Zvuk v tele odpovede |
| 400 | Chybná požiadavka | Skontroluj text, kodek a vzorkovaciu frekvenciu |
| 401 | Neoprávnený prístup | Skontroluj API kľúč |
| 429 | Prekročená kvóta | Implementuj exponenciálne oneskorenie |
| 500/503 | Chyba servera | Opakuj s oneskorením |
Chyby 400 sa fixujú v tvojom kóde a samy nezmiznú: pramenia z nekompatibilného parametra, typicky vzorkovacej frekvencie, ktorú zvolený kodek neprijíma. Chyby 429 a 5xx si naopak vyžadujú rovnakú odpoveď: exponenciálne oneskorenie, pri ktorom sa oneskorenie pri každom pokuse zdvojnásobí. Okamžitá slučka opakovaných pokusov veci len zhorší tým, že bude ďalej zaťažovať kvótu, ktorú si práve prekročil.
Kľúčové poznatky
- K dispozícii je päť kodekov: MP3, WAV, PCM, mu-law a A-law, každý vhodný pre špecifický kontext
- Predvolená vzorkovacia frekvencia je 24 000 Hz; pre telefóniu používaj 8 000 Hz a pre produkciu 44 100 Hz alebo vyššiu
- MP3 s bitovou rýchlosťou 128 kbps ponúka najlepší pomer kvality a veľkosti pre hovorený hlas
- Spravuj Blob URL v prehliadači, aby si predišiel únikom pamäte
- Implementuj exponenciálne oneskorenie na riešenie chýb 429 (obmedzenie rýchlosti) a 5xx
Over si svoje vedomosti
Voice Agent a TTS: hlas od začiatku do konca v piatich otázkach.
1. Ako funguje relácia Voice Agent?
Odpoveď: Prostredníctvom WebSocketu v reálnom čase. Nakonfiguruješ reláciu (hlas, osobnosť, inštrukcie) a potom udalosti prúdia oboma smermi: zvuk používateľa jedným smerom a hovorené odpovede agenta druhým smerom.
2. Čo umožňuje volanie funkcií v hlasovom režime?
Odpoveď: Hlasový agent môže počas konverzácie volať tvoje nástroje na vyhľadanie účtu, vytvorenie rezervácie alebo vykonanie akcie. Hlas sa stáva kompletným rozhraním, nielen nástrojom na diktovanie.
3. Čo pridávajú expresívne tagy TTS?
Odpoveď: Kontrolu nad rečou: intonáciu, pauzy, dôraz. Syntéza prestane znieť monotónne a nasleduje zámer textu vo všetkých podporovaných jazykoch.
4. Prečo sú dôležité jednorazové tokeny?
Odpoveď: Umožňujú klientovi (prehliadač alebo mobilná aplikácia) pripojiť sa k hlasovej službe bez toho, aby si odhalil svoj hlavný API kľúč. Prihlasovacie údaje sú krátkodobé, obmedzené na hlasovú reláciu a samy vypršia, čo zabezpečuje bezpečnosť hlasu v reálnom čase.
5. Čo ti umožňujú kontrolovať zvukové formáty?
Odpoveď: Kompromis medzi kvalitou, latenciou a šírkou pásma: výber formátu a vzorkovacej frekvencie, ktoré sedia kanálu (web, SIP telefónia, LiveKit). Je to optimalizácia, ktorá ťa dostane do cieľa.
Relácia, nástroje, expresivita, bezpečnosť, formáty: kompletný hlasový asistent v tomto kurze spája všetkých päť dohromady a tvoj bude nasledovať rovnaký plán.