Formati zvuka i optimizacija
Na ovoj stranici
Odaberi pravi format za svaki kontekst
Format zvuka jedna je od onih postavki koju u žurbi preskočiš na početku, a kasnije požališ. Ipak, on određuje percipiranu kvalitetu, propusnost koju svako slušanje troši te kompatibilnost s tvojom ciljnom platformom. Podcast isporučen kao sirovi PCM drastično diže tvoje troškove distribucije, a telefonski stream na 24.000 Hz bit će transkodiran usput, sa svom degradacijom koju to povlači. Ova lekcija pregledava dostupne formate i kako odabrati između njih.
Podržani kodeci
| Kodek | MIME tip | Kompresija | Glavna uporaba |
|---|---|---|---|
mp3 | audio/mpeg | S gubicima (Lossy) | Web, mobilni uređaji, podcasti |
wav | audio/wav | Bez gubitaka (Lossless) | Postprodukcija, arhiviranje |
pcm | audio/pcm | Nema (sirovo) | Zvučni cjevovodi, Voice Agent |
mulaw | audio/basic | Logaritamska | Telefonija (Amerika, Japan) |
alaw | audio/alaw | Logaritamska | Telefonija (Europa, međunarodno) |
MP3 pokriva većinu potrošačke distribucije. WAV je za zvuk koji još treba uređivanje ili se mora čuvati bez gubitaka. PCM je format razmjene za cjevovode u stvarnom vremenu, uključujući Voice Agent, jer njegovo dekodiranje ne košta ništa. Mu-law i A-law postoje isključivo za telefoniju i nemaju razloga pojavljivati se nigdje drugdje.
Frekvencije uzorkovanja
Frekvencija uzorkovanja određuje koliko je signal detaljan: što je viša, to bolje prolaze visoke frekvencije, ali datoteka postaje veća.
| Frekvencija uzorkovanja | Kvaliteta | Uporaba |
|---|---|---|
| 8.000 Hz | Telefonija | VoIP, SIP, G.711 |
| 16.000 Hz | Govor širokog pojasa | Transkripcija, prepoznavanje govora |
| 22.050 Hz | FM radio | Podcasti, obavijesti |
| 24.000 Hz | TTS standard (zadano) | Opća uporaba |
| 44.100 Hz | CD audio | Glazbena produkcija, audioknjige |
| 48.000 Hz | Video/emisija | Postprodukcija, emitiranje |
U praksi, tri slučaja rješavaju stvar. Telefonija zahtijeva 8.000 Hz, bez rasprave: to je ono što G.711 traži. Web i mobilne aplikacije dobro funkcioniraju sa zadanom vrijednošću od 24.000 Hz, što je najbolji balans između kvalitete i propusnosti za glas. Produkcijski radovi, poput audioknjige ili zvučne podloge za video, opravdavaju 44.100 ili 48.000 Hz, jer će se datoteka miksati, normalizirati i možda ponovno kodirati, a svaki korak malo nagriza kvalitetu.
Bitne stope za MP3
Kod MP3 kodeka, bitna stopa određuje kompresiju, a time i konačnu veličinu datoteke.
| Bitna stopa | Kvaliteta | Veličina za 1 min |
|---|---|---|
| 32.000 bps | Niska | ~240 KB |
| 64.000 bps | Srednja | ~480 KB |
| 96.000 bps | Dobra | ~720 KB |
| 128.000 bps (zadano) | Vrlo dobra | ~960 KB |
| 192.000 bps | Izvrsna | ~1,4 MB |
Govor zauzima samo mali dio spektra: 128 kbps već ga vrlo dobro reproducira, a povećanje na 192 kbps čini tvoj katalog pola puta težim bez da ijedan slušatelj čuje razliku u govornom sadržaju. Tu najvišu razinu sačuvaj za premium produkcije ili glazbene dionice.
Konverzija zvuka u Pythonu
Voice Agent isporučuje sirovi, base64-kodirani PCM, a dvije konverzije pojavljuju se u gotovo svakom projektu. Prva pretvara taj stream u numpy polje normalizirano između -1 i 1, format koji većina biblioteka za obradu signala očekuje, a ide i u obrnutom smjeru za slanje zvuka natrag API-ju.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Druga omata PCM u WAV kontejner. Bez tog zaglavlja, audio player ne zna ni koliko kanala ni koju frekvenciju uzorkovanja pretpostaviti, pa će ili odbiti datoteku ili je reproducirati pogrešnom brzinom.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimiziraj za odredište
Za web aplikaciju, drži se MP3-a od 128 kbps na 24.000 Hz za TTS i PCM-a na 24.000 Hz za Voice Agent, što zahtijeva obostrano strujanje (bidirectional streaming). Jednom zauvijek konvertiraj svoje statične zvučne resurse, poput džinglova i unaprijed snimljenih poruka, u MP3 umjesto da svakom posjetitelju serviraš WAV.
Za telefoniju, strogo ostani pri G.711 na 8.000 Hz i konfiguriraj Voice Agent izravno u tom formatu: svako transkodiranje u stvarnom vremenu dodaje kašnjenje kojeg nemaš za baciti.
Za pohranu, odvoji arhiviranje od distribucije: master ostaje u WAV formatu na 24.000 Hz, spreman za daljnju obradu, a distribuiraš MP3 od 128 kbps, koji je znatno lakši. Isti sadržaj, dvije datoteke, dvije svrhe.
Upravljanje memorijom u pregledniku
Tijekom reprodukcije strujanjem, svaki poziv URL.createObjectURL rezervira memoriju koju preglednik ne oslobađa sam od sebe. Tijekom duge sesije, ti se URL-ovi gomilaju dok se kartica ne uspori do puzanja. Opozovi prethodni prije stvaranja novog:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Oslobodi prethodni URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Reproduciraj zvuk...
}
Tumačenje kodova pogrešaka TTS-a
| Kod | Značenje | Radnja |
|---|---|---|
| 200 | Uspjeh | Zvuk u tijelu odgovora |
| 400 | Loš zahtjev | Provjeri tekst, kodek i frekvenciju uzorkovanja |
| 401 | Neovlašteno | Provjeri API ključ |
| 429 | Prekoračena kvota | Implementiraj eksponencijalno povlačenje (backoff) |
| 500/503 | Pogreška poslužitelja | Pokušaj ponovno s povlačenjem |
Pogreške 400 popravljaju se u tvom kodu i neće nestati same od sebe: one proizlaze iz nekompatibilnog parametra, tipično frekvencije uzorkovanja koju odabrani kodek ne prihvaća. Pogreške 429 i 5xx, s druge strane, zahtijevaju isti odgovor: eksponencijalno povlačenje, s kašnjenjima koja se udvostručuju pri svakom pokušaju. Petlja za trenutni ponovni pokušaj samo pogoršava stvari bombardiranjem kvote koju si upravo premašio.
Ključne točke
- Dostupno je pet kodeka: MP3, WAV, PCM, mu-law i A-law, svaki prilagođen specifičnom kontekstu
- Zadana frekvencija uzorkovanja je 24.000 Hz; koristi 8.000 Hz za telefoniju, a 44.100 Hz ili više za produkciju
- MP3 od 128 kbps nudi najbolji omjer kvalitete i veličine za govorni glas
- Upravljaj Blob URL-ovima u pregledniku kako bi izbjegao curenje memorije
- Implementiraj eksponencijalno povlačenje za rukovanje pogreškama 429 (ograničenje stope) i 5xx
Provjeri svoje razumijevanje
Voice Agent i TTS: glas od kraja do kraja, u pet pitanja.
1. Kako funkcionira sesija Voice Agenta?
Odgovor: Putem WebSocket veze u stvarnom vremenu. Konfiguriraš sesiju (glas, osobnost, upute), zatim događaji teku u oba smjera: korisnikov zvuk u jednom smjeru, glasovni odgovori agenta u drugom.
2. Što pozivanje funkcija omogućuje u glasovnoj komunikaciji?
Odgovor: Glasovni agent poziva tvoje alate usred razgovora kako bi potražio račun, izvršio rezervaciju ili poduzeo radnju. Glas postaje potpuno sučelje, a ne samo stroj za diktiranje.
3. Što dodaju ekspresivne TTS oznake?
Odgovor: Kontrolu nad govorom: intonaciju, pauze, naglasak. Sinteza prestaje zvučati monotono i prati namjeru teksta, na svakom podržanom jeziku.
4. Zašto su privremeni tokeni važni?
Odgovor: Omogućuju klijentu (pregledniku ili mobilnoj aplikaciji) povezivanje s glasovnom uslugom bez otkrivanja tvog glavnog API ključa. Vjerodajnice su kratkog vijeka, ograničene na glasovnu sesiju i istječu same od sebe, što čini glas u stvarnom vremenu sigurnim.
5. Što ti audio formati omogućuju kontrolirati?
Odgovor: Kompromis između kvalitete, kašnjenja i propusnosti: odabir formata i frekvencije uzorkovanja koji odgovaraju kanalu (web, SIP telefonija, LiveKit). To je optimizacija koja te dovodi do cilja.
Sesija, alati, ekspresivnost, sigurnost, formati: kompletan glasovni asistent u ovom tečaju spaja svih pet elemenata, a tvoj će slijediti isti plan.