Formati zvoka in optimizacija
Na tej strani
Izberi pravi format za vsak kontekst
Format zvoka je ena tistih nastavitev, ki jih na začetku hitro preskočiš, kasneje pa jih obžaluješ. Kljub temu določa zaznano kakovost, pasovno širino, ki jo porabi vsako poslušanje, in združljivost s tvojo ciljno platformo. Podkast, dostavljen kot surovi PCM, drastično poveča tvoje stroške distribucije, telefonski prenos pri 24.000 Hz pa se med potjo prekodira z vso degradacijo, ki to spremlja. Ta lekcija pregleduje razpoložljive formate in način odločanja med njimi.
Podprti kodeki
| Kodek | Tip MIME | Stiskanje | Glavna uporaba |
|---|---|---|---|
mp3 | audio/mpeg | Z izgubami | Splet, mobilne naprave, podkasti |
wav | audio/wav | Brez izgub | Postprodukcija, arhiviranje |
pcm | audio/pcm | Brez (surovo) | Zvočni kanali, Voice Agent |
mulaw | audio/basic | Logaritemsko | Telefonija (Amerika, Japonska) |
alaw | audio/alaw | Logaritemsko | Telefonija (Evropa, mednarodno) |
MP3 pokriva večino potrošniške distribucije. WAV je namenjen zvoku, ki ga je treba še urejati ali ga je treba ohraniti brez izgub. PCM je izmenjevalni format za kanale v realnem času, vključno z Voice Agentom, saj njegovo dekodiranje ne zahteva procesorskih virov. Mu-law in A-law obstajata izključno za telefonijo in nimata razloga, da bi se pojavljala kje drugje.
Vzorčne frekvence
Vzorčna frekvenca določa fino ločljivost signala: višja kot je, bolje se slišijo visoke frekvence, večja pa je tudi datoteka.
| Vzorna frekvenca | Kakovost | Uporaba |
|---|---|---|
| 8.000 Hz | Telefonija | VoIP, SIP, G.711 |
| 16.000 Hz | Širokopasovni govor | Prepis, prepoznavanje govora |
| 22.050 Hz | FM radio | Podkasti, obvestila |
| 24.000 Hz | Standard TTS (privzeto) | Splošna uporaba |
| 44.100 Hz | Zvok CD | Glasbena produkcija, avdioknjige |
| 48.000 Hz | Video/oddajanje | Postprodukcija, radiodifuzija |
V praksi zadostujejo trije primeri. Telefonija zahteva 8.000 Hz, brez razprave: to zahteva G.711. Splet in mobilne naprave dobro delujejo s privzetimi 24.000 Hz, kar je najboljše ravnovesje med kakovostjo in pasovno širino za govor. Produkcijsko delo, kot sta avdioknjiga ali zvočna podlaga za video, upravičuje 44.100 ali 48.000 Hz, saj bo datoteka mešana, normalizirana in morda ponovno kodirana, vsak korak pa malo zmanjša kakovost.
| Bitna hitrost | Kakovost | Velikost za 1 min |
|---|---|---|
| 32.000 bps | Nizka | ~240 KB |
| 64.000 bps | Srednja | ~480 KB |
| 96.000 bps | Dobra | ~720 KB |
| 128.000 bps (privzeto) | Zelo dobra | ~960 KB |
| 192.000 bps | Odlična | ~1,4 MB |
Govor zavzema le majhen del spektra: 128 kbps ga že zelo dobro reproducira, dvig na 192 kbps pa tvoj katalog obremeni za polovico več, ne da bi poslušalec pri govorni vsebini slišal razliko. Najvišjo stopnjo prihrani za vrhunske produkcije ali glasbene odlomke.
Pretvorba zvoka v Pythonu
Voice Agent dostavi surov, v base64 kodiran PCM, pri skoraj vsakem projektu pa sta potrebni dve pretvorbi. Prva ta tok pretvori v polje numpy, normalizirano med -1 in 1, kar je format, ki ga pričakuje večina knjižnic za obdelavo signalov, in obratno za pošiljanje zvoka nazaj v API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Druga ovije PCM v zabojnik WAV. Brez te glave zvočni predvajalnik ne ve, koliko kanalov ima niti kakšno vzorčno frekvenco naj predpostavi, zato bo datoteko bodisi zavrnil bodisi jo predvajal z napačno hitrostjo.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimizacija za cilj
Za spletno aplikacijo uporabi MP3 z bitno hitrostjo 128 kbps pri 24.000 Hz za TTS in PCM pri 24.000 Hz za Voice Agent, kar zahteva obojestransko pretakanje. Statične zvočne vire, kot so džingli in vnaprej posneta sporočila, enkrat za vselej pretvori v MP3, namesto da bi vsakemu obiskovalcu strežal WAV.
Za telefonijo strogo ostani pri G.711 pri 8.000 Hz in Voice Agent neposredno konfiguriraj v tem formatu: vsako prekodiranje v realnem času doda zakasnitev, katere si ne moreš privoščiti.
Za shranjevanje loči arhiviranje in distribucijo: glavna različica ostane v WAV pri 24.000 Hz, pripravljena za nadaljnjo obdelavo, distribuiraš pa MP3 pri 128 kbps, ki je bistveno lažji. Ista vsebina, dve datoteki, dva namena.
Upravljanje pomnilnika v brskalniku
Med predvajanjem v toku vsak klic URL.createObjectURL rezervira pomnilnik, ki ga brskalnik ne sprosti sam. Dolga seja povzroči kopičenje teh URL-jev, dokler se zavihek ne začne močno upočasnjevati. Prekliči prejšnjega, preden ustvariš novega:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Sprosti prejšnji URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Predvajaj zvok...
}
Razlaga kod napak TTS
| Koda | Pomen | Ukrep |
|---|---|---|
| 200 | Uspeh | Zvok v telesu odgovora |
| 400 | Neveljaven zahtevek | Preveri besedilo, kodek in vzorčno frekvenco |
| 401 | Nepooblaščeno | Preveri API ključ |
| 429 | Presežena kvota | Implementiraj eksponentno zamudo |
| 500/503 | Napaka strežnika | Poskusi znova z zamudo |
Napake 400 se popravijo v tvoji kodi in ne bodo izginile same od sebe: nastanejo zaradi nezdružljivega parametra, običajno vzorčne frekvence, ki jo izbrani kodek ne sprejme. Napake 429 in 5xx pa zahtevajo enak odziv: eksponentno zamudo z zamudami, ki se ob vsakem poskusu podvojijo. Takojšnje ponavljanje v zanki stvari le poslabša, saj obremenjuje kvoto, ki si jo pravkar presegel.
Ključne ugotovitve
- Na voljo je pet kodekov: MP3, WAV, PCM, mu-law in A-law, vsak primeren za specifičen kontekst
- Privzeta vzorčna frekvenca je 24.000 Hz; za telefonijo uporabi 8.000 Hz, za produkcijo pa 44.100 Hz ali več
- MP3 pri 128 kbps ponuja najboljše razmerje med kakovostjo in velikostjo za govorni glas
- V brskalniku upravljaj URL-je Blob, da se izogneš puščanju pomnilnika
- Implementiraj eksponentno zamudo za obravnavo napak 429 (omejevanje hitrosti) in napak 5xx
Preveri svoje razumevanje
Voice Agent in TTS: glas od začetka do konca v petih vprašanjih.
1. Kako deluje seja Voice Agent?
Odgovor: Prek WebSocket v realnem času. Konfiguriraš sejo (glas, osebnost, navodila), nato pa dogodki tečejo v obe smeri: uporabnikov zvok v eno smer, govorni odgovori agenta pa v drugo.
2. Kaj omogoča klicanje funkcij v glasovnem načinu?
Odgovor: Glasovni agent med pogovorom pokliče tvoja orodja za iskanje računa, opravljanje rezervacije ali izvajanje dejanj. Glas postane popoln vmesnik, ne le stroj za narekovanje.
3. Kaj dodajo izrazni označevalci TTS?
Odgovor: Nadzor nad govorom: intonacija, premori, poudarki. Sinteza ne zveni več monotono in sledi namenu besedila v vsakem podprtem jeziku.
4. Zakaj so pomembni efemerni žetoni?
Odgovor: Omogočajo odjemalcu (brskalnik ali mobilna aplikacija), da se poveže z glasovno storitvijo, ne da bi razkril tvoj glavni API ključ. Poverilnice so kratkotrajne, omejene na glasovno sejo in samodejno potečejo, kar zagotavlja varnost glasu v realnem času.
5. Kaj ti omogočajo nadzorovati zvočni formati?
Odgovor: Kompromis med kakovostjo, zakasnitvijo in pasovno širino: izbira formata in vzorčne frekvence, ki ustrezata kanalu (splet, SIP telefonija, LiveKit). To je optimizacija, ki te pripelje do cilja.
Seja, orodja, izraznost, varnost, formati: popoln glasovni pomočnik v tem tečaju združuje vseh pet, tvoj pa bo sledil istemu načrtu.