Formáty zvuku a optimalizace
Na této stránce
Výběr správného formátu pro každý kontext
Formát zvuku je jedno z těch nastavení, která na začátku rychle odklikneš a později jich lituješ. Přitom určuje vnímanou kvalitu, šířku pásma spotřebovanou při každém přehrání a kompatibilitu s cílovou platformou. Podcast dodaný jako surový PCM nafoukne vaše distribuční náklady a telefonní stream na 24 000 Hz projde během cesty překódováním se všemi doprovodnými degradacemi kvality. Tato lekce shrnuje dostupné formáty a způsob, jak mezi nimi rozhodovat.
Podporované kodeky
| Kodek | Typ MIME | Komprese | Hlavní použití |
|---|---|---|---|
mp3 | audio/mpeg | Se ztrátami | Web, mobil, podcasty |
wav | audio/wav | Beze ztrát | Postprodukce, archivace |
pcm | audio/pcm | Žádná (surový) | Zvukové pipeline, Voice Agent |
mulaw | audio/basic | Logaritmická | Telefonie (Amerika, Japonsko) |
alaw | audio/alaw | Logaritmická | Telefonie (Evropa, mezinárodní) |
MP3 pokrývá většinu spotřebitelské distribuce. WAV slouží pro zvuk, který ještě potřebuje úpravy nebo musí zůstat beze ztrát. PCM je výměnný formát pro pipeline v reálném čase, včetně Voice Agenta, protože jeho dekódování nic nestojí. Mu-law a A-law existují pouze pro telefonii a nemají důvod se objevovat kdekoli jinde.
Vzorkovací frekvence
Vzorkovací frekvence určuje jemnost signálu: čím vyšší je, tím lépe projdou vysoké frekvence a tím větší je soubor.
| Vzorkovací frekvence | Kvalita | Použití |
|---|---|---|
| 8 000 Hz | Telefonie | VoIP, SIP, G.711 |
| 16 000 Hz | Širokopásmová řeč | Přepis, rozpoznávání řeči |
| 22 050 Hz | FM rádio | Podcasty, oznámení |
| 24 000 Hz | Standard TTS (výchozí) | Obecné použití |
| 44 100 Hz | CD audio | Hudební produkce, audioknihy |
| 48 000 Hz | Video/vysílání | Postprodukce, vysílání |
V praxi stačí vyřešit tři případy. Telefonie vyžaduje 8 000 Hz, bez diskuse: to je požadavek standardu G.711. Pro web a mobil bohatě stačí výchozích 24 000 Hz, což je nejlepší rovnováha mezi kvalitou a šířkou pásma pro řeč. Produkční práce, jako je audiokniha nebo zvuková stopa videa, ospravedlňuje 44 100 nebo 48 000 Hz, protože soubor bude mixován, normalizován a případně znovu kódován, přičemž každý krok trochu ubírá na kvalitě.
Datové toky MP3
U kodeku MP3 určuje datový tok kompresi, a tedy výslednou velikost souboru.
| Datový tok | Kvalita | Velikost za 1 min |
|---|---|---|
| 32 000 bps | Nízká | ~240 KB |
| 64 000 bps | Střední | ~480 KB |
| 96 000 bps | Dobrá | ~720 KB |
| 128 000 bps (výchozí) | Velmi dobrá | ~960 KB |
| 192 000 bps | Vynikající | ~1,4 MB |
Řeč zabírá pouze malou část spektra: 128 kb/s ji již reprodukuje velmi dobře a zvýšení na 192 kb/s zváží váš katalog o polovinu navíc, aniž by posluchač u mluveného obsahu poznal rozdíl. Tuto nejvyšší úroveň si nechajte pro prémiové produkce nebo hudební pasáže.
Převod zvuku v Pythonu
Voice Agent dodává surový, base64 kódovaný PCM a v téměř každém projektu přijdou vhod dva převody. První změní tento proud na pole numpy normalizované mezi -1 a 1, což je formát, který očekává většina knihoven pro zpracování signálu, a druhý jde opačným směrem pro odeslání zvuku zpět do API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Druhý obalí PCM do kontejneru WAV. Bez této hlavičky zvukový přehrávač neví, kolik kanálů ani jakou vzorkovací frekvenci předpokládat, a buď soubor odmítne, nebo jej přehraje špatnou rychlostí.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimalizace pro cílové místo
Pro webovou aplikaci zůstaňte u MP3 s datovým tokem 128 kb/s při 24 000 Hz pro TTS a u PCM na 24 000 Hz pro Voice Agent, který vyžaduje obousměrné streamování. Statické zvukové assety, jako jsou znělky a předem nahrané zprávy, jednou provždy převeďte do MP3 místo toho, abyste každému návštěvníkovi servírovali WAV.
Pro telefonii zůstaňte striktně u G.711 na 8 000 Hz a nakonfigurujte Voice Agent přímo v tomto formátu: jakékoli překódování v reálném čase přidává latenci, na kterou nemáte prostor.
Pro úložiště oddělte archivaci od distribuce: mistr zůstává ve WAV na 24 000 Hz, připraven k dalším úpravám, a distribuujete MP3 na 128 kb/s, které je mnohem lehčí. Stejný obsah, dva soubory, dva účely.
Správa paměti v prohlížeči
Během přehrávání streamu každé volání URL.createObjectURL rezervuje paměť, kterou prohlížeč sám neuvolní. Během dlouhé relace se tyto URL hromadí, dokud se karta nezasekne. Před vytvořením nové URL zrušte tu předchozí:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Uvolnění předchozí URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Přehrání zvuku...
}
Interpretace chybových kódů TTS
| Kód | Význam | Akce |
|---|---|---|
| 200 | Úspěch | Zvuk v těle odpovědi |
| 400 | Špatný požadavek | Zkontrolujte text, kodek a vzorkovací frekvenci |
| 401 | Neoprávněno | Zkontrolujte API klíč |
| 429 | Překročen limit | Implementujte exponenciální backoff |
| 500/503 | Chyba serveru | Opakujte s backoffem |
Chyby 400 opravíte ve svém kódu a samy nezmizí: pocházejí z nekompatibilního parametru, typicky vzorkovací frekvence, kterou zvolený kodek nepřijímá. Chyby 429 a 5xx naopak vyžadují stejnou reakci: exponenciální backoff s prodlevami, které se při každém pokusu zdvojnásobí. Okamžitá smyčka opakování věci jen zhorší tím, že bude dál bušit do limitu, který jste právě překročili.
Klíčové poznatky
- K dispozici je pět kodeků: MP3, WAV, PCM, mu-law a A-law, každý vhodný pro specifický kontext
- Výchozí vzorkovací frekvence je 24 000 Hz; pro telefonii použijte 8 000 Hz a pro produkci 44 100 Hz nebo vyšší
- MP3 na 128 kb/s nabízí nejlepší poměr kvality a velikosti pro mluvenou řeč
- Spravujte Blob URL v prohlížeči, abyste předešli únikům paměti
- Implementujte exponenciální backoff pro zpracování chyb 429 (omezení rychlosti) a 5xx
Ověřte si své znalosti
Voice Agent a TTS: hlas od začátku do konce v pěti otázkách.
1. Jak funguje relace Voice Agent?
Odpověď: Prostřednictvím WebSocketu v reálném čase. Nakonfigurujete relaci (hlas, osobnost, instrukce) a poté proudí události oběma směry: uživatelův zvuk jedním směrem a mluvené odpovědi agenta druhým.
2. Co umožňuje volání funkcí v hlasovém rozhraní?
Odpověď: Hlasový agent může během konverzace volat vaše nástroje pro vyhledání účtu, provedení rezervace nebo provedení akce. Hlas se stává kompletním rozhraním, nejen strojem na diktování.
3. Co přidávají expresivní tagy TTS?
Odpověď: Kontrolu nad řečí: intonaci, pauzy, důraz. Syntéza přestane znít monotónně a následuje záměr textu ve všech podporovaných jazycích.
4. Proč jsou důležité efemérní tokeny?
Odpověď: Umožňují klientovi (prohlížeči nebo mobilní aplikaci) připojit se k hlasové službě bez odhalení vašeho hlavního API klíče. Pověření jsou krátkodobá, omezená na hlasovou relaci a sama vyprší, což činí hlas v reálném čase bezpečným.
5. Co vám umožňují kontrolovat zvukové formáty?
Odpověď: Kompromis mezi kvalitou, latencí a šířkou pásma: výběr formátu a vzorkovací frekvence, které odpovídají kanálu (web, telefonie SIP, LiveKit). Je to optimalizace, která vás dostane do cíle.
Relace, nástroje, expresivita, bezpečnost, formáty: kompletní hlasový asistent v tomto kurzu spojuje všech pět dohromady a váš bude následovat stejný plán.