Formate audio și optimizare
Pe această pagină
Alegeți formatul potrivit pentru fiecare context
Formatul audio este una dintre acele setări pe care le parcurgeți în grabă la început și pe care le regretați mai târziu. Totuși, acesta determină calitatea percepută, lățimea de bandă consumată la fiecare ascultare și compatibilitatea cu platforma țintă. Un podcast livrat ca PCM brut vă va umfla costurile de distribuție, iar un flux telefonic la 24.000 Hz va fi transcodat pe parcurs, cu toate degradările pe care acest lucru le implică. Această lecție trece în revistă formatele disponibile și modul de a decide între ele.
Codecuri suportate
| Codec | Tip MIME | Compresie | Utilizare principală |
|---|---|---|---|
mp3 | audio/mpeg | Cu pierderi (Lossy) | Web, mobil, podcasturi |
wav | audio/wav | Fără pierderi (Lossless) | Post-producție, arhivare |
pcm | audio/pcm | Niciuna (brut) | Pipeline-uri audio, Voice Agent |
mulaw | audio/basic | Logaritmică | Telefonie (Americi, Japonia) |
alaw | audio/alaw | Logaritmică | Telefonie (Europa, internațional) |
MP3 acoperă majoritatea distribuțiilor pentru consumatori. WAV este destinat audio-ului care mai trebuie editat sau care trebuie păstrat fără pierderi. PCM este formatul de schimb pentru pipeline-urile în timp real, inclusiv Voice Agent, deoarece nu costă nimic să fie decodat. Mu-law și A-law există doar pentru telefonie și nu au niciun motiv să apară în altă parte.
Rate de eșantionare
Rata de eșantionare stabilește cât de fin este semnalul: cu cât este mai mare, cu atât frecvențele înalte se aud mai bine, iar fișierul este mai mare.
| Rata de eșantionare | Calitate | Utilizare |
|---|---|---|
| 8.000 Hz | Telefonie | VoIP, SIP, G.711 |
| 16.000 Hz | Voce wideband | Transcriere, recunoaștere vocală |
| 22.050 Hz | Radio FM | Podcasturi, notificări |
| 24.000 Hz | Standard TTS (implicit) | Utilizare generală |
| 44.100 Hz | Audio CD | Producție muzicală, audiobooks |
| 48.000 Hz | Video/broadcast | Post-producție, difuzare |
În practică, trei cazuri tranșează situația. Telefonia necesită 8.000 Hz, fără discuții: asta cere G.711. Web-ul și mobilul se descurcă bine cu implicitul de 24.000 Hz, cel mai bun echilibru între calitate și lățime de bandă pentru voce. Munca de producție, cum ar fi un audiobook sau o coloană sonoră pentru video, justifică 44.100 sau 48.000 Hz, deoarece fișierul va fi mixat, normalizat și posibil re-encodat, iar fiecare pas consumă puțin din calitate.
Rate de biți MP3
Cu codec-ul MP3, rata de biți stabilește compresia și, prin urmare, dimensiunea finală a fișierului.
| Rata de biți | Calitate | Dimensiune pentru 1 min |
|---|---|---|
| 32.000 bps | Scăzută | ~240 KB |
| 64.000 bps | Medie | ~480 KB |
| 96.000 bps | Bună | ~720 KB |
| 128.000 bps (implicit) | Foarte bună | ~960 KB |
| 192.000 bps | Excelentă | ~1,4 MB |
Vocea ocupă doar o mică parte din spectru: 128 kbps o reproduc deja foarte bine, iar creșterea la 192 kbps vă îngreunează catalogul cu încă jumătate, fără ca niciun ascultător să audă diferența la conținut vorbit. Păstrați acel nivel superior pentru producții premium sau pasaje muzicale.
Convertirea audio în Python
Voice Agent livrează PCM brut, codificat în base64, iar două conversii apar în aproape fiecare proiect. Prima transformă acel flux într-un array numpy normalizat între -1 și 1, formatul pe care îl așteaptă majoritatea bibliotecilor de procesare a semnalului, și face drumul invers pentru a trimite audio înapoi către API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
A doua încapsulează PCM într-un container WAV. Fără acel antet, un player audio nu știe nici câte canale sunt, nici ce rată de eșantionare să presupună, și fie va refuza fișierul, fie îl va reda la viteza greșită.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimizare pentru destinație
Pentru o aplicație web, rămâneți la MP3 de 128 kbps la 24.000 Hz pentru TTS și PCM la 24.000 Hz pentru Voice Agent, ceea ce necesită streaming bidirecțional. Convertiți activele audio statice, cum ar fi jingle-urile și mesajele preînregistrate, în MP3 o dată pentru totdeauna, în loc să serviți WAV fiecărui vizitator.
Pentru telefonie, rămâneți strict la G.711 la 8.000 Hz și configurați Voice Agent direct în acel format: orice transcodare în timp real adaugă latență acolo unde nu vă permiteți niciuna.
Pentru stocare, țineți arhivarea și distribuția separate: masterul rămâne în WAV la 24.000 Hz, gata de a fi relucrat, iar dumneavoastră distribuiți MP3 la 128 kbps, care este mult mai ușor. Același conținut, două fișiere, două scopuri.
Gestionarea memoriei în browser
În timpul redării în streaming, fiecare apel URL.createObjectURL rezervă memorie pe care browserul nu o eliberează singur. Pe parcursul unei sesiuni lungi, aceste URL-uri se acumulează până când tab-ul încetinește considerabil. Revocați URL-ul anterior înainte de a crea unul nou:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Eliberarea URL-ului anterior
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Redarea audio...
}
Interpretarea codurilor de eroare TTS
| Cod | Semnificație | Acțiune |
|---|---|---|
| 200 | Succes | Audio în corpul răspunsului |
| 400 | Cerere incorectă | Verificați textul, codec-ul și rata de eșantionare |
| 401 | Neautorizat | Verificați cheia API |
| 429 | Cotă depășită | Implementați backoff exponențial |
| 500/503 | Eroare server | Reîncercați cu backoff |
Erorile 400 se corectează în codul dumneavoastră și nu vor dispărea de la sine: ele provin dintr-un parametru incompatibil, de obicei o rată de eșantionare pe care codec-ul ales nu o acceptă. Erorile 429 și 5xx, pe de altă parte, cer același răspuns: backoff exponențial, cu întârzieri care se dublează la fiecare încercare. O buclă de reîncercare imediată doar înrăutățește lucrurile, bombardând cota pe care tocmai ați depășit-o.
Puncte cheie
- Sunt disponibile cinci codecuri: MP3, WAV, PCM, mu-law și A-law, fiecare fiind potrivit pentru un context specific
- Rata de eșantionare implicită este de 24.000 Hz; utilizați 8.000 Hz pentru telefonie și 44.100 Hz sau mai mult pentru producție
- MP3 la 128 kbps oferă cel mai bun compromis calitate-dimensiune pentru vocea vorbită
- Gestionați URL-urile Blob în browser pentru a evita scurgerile de memorie
- Implementați backoff exponențial pentru a gestiona erorile 429 (limitare rată) și 5xx
Verificați-vă înțelegerea
Voice Agent și TTS: voce de la capăt la capăt, în cinci întrebări.
1. Cum funcționează o sesiune Voice Agent?
Răspuns: Prin WebSocket în timp real. Configurați sesiunea (voce, personalitate, instrucțiuni), apoi evenimentele curg în ambele sensuri: audio-ul utilizatorului într-o direcție, răspunsurile vorbite ale agentului în cealaltă.
2. Ce face posibilă apelarea funcțiilor (function calling) în voce?
Răspuns: Agentul vocal vă apelează instrumentele în mijlocul conversației pentru a consulta un cont, a face o rezervare sau a întreprinde o acțiune. Vocea devine o interfață completă, nu doar o mașină de dictare.
3. Ce adaugă tag-urile expresive TTS?
Răspuns: Control asupra vorbirii: intonație, pauze, accentuare. Sinteza nu mai sună monotonă și urmează intenția textului, în fiecare limbă suportată.
4. De ce contează token-ii efemeri?
Răspuns: Ei permit clientului (browser sau aplicație mobilă) să se conecteze la serviciul vocal fără a expune cheia API principală. Credenzialele sunt de scurtă durată, limitate la o sesiune vocală și expiră de la sine, ceea ce face ca vocea în timp real să fie sigură.
5. Ce vă permit să controlați formatele audio?
Răspuns: Compromisul dintre calitate, latență și lățime de bandă: alegerea formatului și a ratei de eșantionare care se potrivesc canalului (web, telefonie SIP, LiveKit). Aceasta este optimizarea care vă duce la linia de sosire.
Sesiune, instrumente, expresivitate, securitate, formate: asistentul vocal complet din acest curs le reunește pe toate cele cinci, iar al dumneavoastră va urma același plan.