Salt la conținutul principal
Română— Alege o limbă
Meniu

Formate audio și optimizare

Lecția 14 din 14 Actualizată 29 iulie 2026 Intermediar
Pe această pagină
  1. Alegeți formatul potrivit pentru fiecare context
  2. Codecuri suportate
  3. Rate de eșantionare
  4. Rate de biți MP3
  5. Convertirea audio în Python
  6. Optimizare pentru destinație
  7. Gestionarea memoriei în browser
  8. Interpretarea codurilor de eroare TTS
  9. Puncte cheie
  10. Verificați-vă înțelegerea

Alegeți formatul potrivit pentru fiecare context

Formatul audio este una dintre acele setări pe care le parcurgeți în grabă la început și pe care le regretați mai târziu. Totuși, acesta determină calitatea percepută, lățimea de bandă consumată la fiecare ascultare și compatibilitatea cu platforma țintă. Un podcast livrat ca PCM brut vă va umfla costurile de distribuție, iar un flux telefonic la 24.000 Hz va fi transcodat pe parcurs, cu toate degradările pe care acest lucru le implică. Această lecție trece în revistă formatele disponibile și modul de a decide între ele.

Codecuri suportate

CodecTip MIMECompresieUtilizare principală
mp3audio/mpegCu pierderi (Lossy)Web, mobil, podcasturi
wavaudio/wavFără pierderi (Lossless)Post-producție, arhivare
pcmaudio/pcmNiciuna (brut)Pipeline-uri audio, Voice Agent
mulawaudio/basicLogaritmicăTelefonie (Americi, Japonia)
alawaudio/alawLogaritmicăTelefonie (Europa, internațional)

MP3 acoperă majoritatea distribuțiilor pentru consumatori. WAV este destinat audio-ului care mai trebuie editat sau care trebuie păstrat fără pierderi. PCM este formatul de schimb pentru pipeline-urile în timp real, inclusiv Voice Agent, deoarece nu costă nimic să fie decodat. Mu-law și A-law există doar pentru telefonie și nu au niciun motiv să apară în altă parte.

Rate de eșantionare

Rata de eșantionare stabilește cât de fin este semnalul: cu cât este mai mare, cu atât frecvențele înalte se aud mai bine, iar fișierul este mai mare.

Rata de eșantionareCalitateUtilizare
8.000 HzTelefonieVoIP, SIP, G.711
16.000 HzVoce widebandTranscriere, recunoaștere vocală
22.050 HzRadio FMPodcasturi, notificări
24.000 HzStandard TTS (implicit)Utilizare generală
44.100 HzAudio CDProducție muzicală, audiobooks
48.000 HzVideo/broadcastPost-producție, difuzare

În practică, trei cazuri tranșează situația. Telefonia necesită 8.000 Hz, fără discuții: asta cere G.711. Web-ul și mobilul se descurcă bine cu implicitul de 24.000 Hz, cel mai bun echilibru între calitate și lățime de bandă pentru voce. Munca de producție, cum ar fi un audiobook sau o coloană sonoră pentru video, justifică 44.100 sau 48.000 Hz, deoarece fișierul va fi mixat, normalizat și posibil re-encodat, iar fiecare pas consumă puțin din calitate.

Rate de biți MP3

Cu codec-ul MP3, rata de biți stabilește compresia și, prin urmare, dimensiunea finală a fișierului.

Rata de bițiCalitateDimensiune pentru 1 min
32.000 bpsScăzută~240 KB
64.000 bpsMedie~480 KB
96.000 bpsBună~720 KB
128.000 bps (implicit)Foarte bună~960 KB
192.000 bpsExcelentă~1,4 MB

Vocea ocupă doar o mică parte din spectru: 128 kbps o reproduc deja foarte bine, iar creșterea la 192 kbps vă îngreunează catalogul cu încă jumătate, fără ca niciun ascultător să audă diferența la conținut vorbit. Păstrați acel nivel superior pentru producții premium sau pasaje muzicale.

Convertirea audio în Python

Voice Agent livrează PCM brut, codificat în base64, iar două conversii apar în aproape fiecare proiect. Prima transformă acel flux într-un array numpy normalizat între -1 și 1, formatul pe care îl așteaptă majoritatea bibliotecilor de procesare a semnalului, și face drumul invers pentru a trimite audio înapoi către API.

import base64
import numpy as np

def base64_to_audio(base64_audio: str) -> np.ndarray:
    audio_bytes = base64.b64decode(base64_audio)
    audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
    return audio_int16.astype(np.float32) / 32768.0

def audio_to_base64(audio_data: np.ndarray) -> str:
    audio_int16 = (audio_data * 32767).astype(np.int16)
    return base64.b64encode(audio_int16.tobytes()).decode("utf-8")

A doua încapsulează PCM într-un container WAV. Fără acel antet, un player audio nu știe nici câte canale sunt, nici ce rată de eșantionare să presupună, și fie va refuza fișierul, fie îl va reda la viteza greșită.

import wave

def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
    import io
    buffer = io.BytesIO()
    with wave.open(buffer, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)  # 16-bit
        wf.setframerate(sample_rate)
        wf.writeframes(pcm_data)
    return buffer.getvalue()

Optimizare pentru destinație

Pentru o aplicație web, rămâneți la MP3 de 128 kbps la 24.000 Hz pentru TTS și PCM la 24.000 Hz pentru Voice Agent, ceea ce necesită streaming bidirecțional. Convertiți activele audio statice, cum ar fi jingle-urile și mesajele preînregistrate, în MP3 o dată pentru totdeauna, în loc să serviți WAV fiecărui vizitator.

Pentru telefonie, rămâneți strict la G.711 la 8.000 Hz și configurați Voice Agent direct în acel format: orice transcodare în timp real adaugă latență acolo unde nu vă permiteți niciuna.

Pentru stocare, țineți arhivarea și distribuția separate: masterul rămâne în WAV la 24.000 Hz, gata de a fi relucrat, iar dumneavoastră distribuiți MP3 la 128 kbps, care este mult mai ușor. Același conținut, două fișiere, două scopuri.

Gestionarea memoriei în browser

În timpul redării în streaming, fiecare apel URL.createObjectURL rezervă memorie pe care browserul nu o eliberează singur. Pe parcursul unei sesiuni lungi, aceste URL-uri se acumulează până când tab-ul încetinește considerabil. Revocați URL-ul anterior înainte de a crea unul nou:

let currentBlobUrl = null;

function playAudioChunk(base64Data) {
  // Eliberarea URL-ului anterior
  if (currentBlobUrl) {
    URL.revokeObjectURL(currentBlobUrl);
  }

  const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
  const blob = new Blob([audioBuffer], { type: "audio/pcm" });
  currentBlobUrl = URL.createObjectURL(blob);
  // Redarea audio...
}

Interpretarea codurilor de eroare TTS

CodSemnificațieAcțiune
200SuccesAudio în corpul răspunsului
400Cerere incorectăVerificați textul, codec-ul și rata de eșantionare
401NeautorizatVerificați cheia API
429Cotă depășităImplementați backoff exponențial
500/503Eroare serverReîncercați cu backoff

Erorile 400 se corectează în codul dumneavoastră și nu vor dispărea de la sine: ele provin dintr-un parametru incompatibil, de obicei o rată de eșantionare pe care codec-ul ales nu o acceptă. Erorile 429 și 5xx, pe de altă parte, cer același răspuns: backoff exponențial, cu întârzieri care se dublează la fiecare încercare. O buclă de reîncercare imediată doar înrăutățește lucrurile, bombardând cota pe care tocmai ați depășit-o.

Puncte cheie

  • Sunt disponibile cinci codecuri: MP3, WAV, PCM, mu-law și A-law, fiecare fiind potrivit pentru un context specific
  • Rata de eșantionare implicită este de 24.000 Hz; utilizați 8.000 Hz pentru telefonie și 44.100 Hz sau mai mult pentru producție
  • MP3 la 128 kbps oferă cel mai bun compromis calitate-dimensiune pentru vocea vorbită
  • Gestionați URL-urile Blob în browser pentru a evita scurgerile de memorie
  • Implementați backoff exponențial pentru a gestiona erorile 429 (limitare rată) și 5xx

Verificați-vă înțelegerea

Voice Agent și TTS: voce de la capăt la capăt, în cinci întrebări.

1. Cum funcționează o sesiune Voice Agent?

Răspuns: Prin WebSocket în timp real. Configurați sesiunea (voce, personalitate, instrucțiuni), apoi evenimentele curg în ambele sensuri: audio-ul utilizatorului într-o direcție, răspunsurile vorbite ale agentului în cealaltă.

2. Ce face posibilă apelarea funcțiilor (function calling) în voce?

Răspuns: Agentul vocal vă apelează instrumentele în mijlocul conversației pentru a consulta un cont, a face o rezervare sau a întreprinde o acțiune. Vocea devine o interfață completă, nu doar o mașină de dictare.

3. Ce adaugă tag-urile expresive TTS?

Răspuns: Control asupra vorbirii: intonație, pauze, accentuare. Sinteza nu mai sună monotonă și urmează intenția textului, în fiecare limbă suportată.

4. De ce contează token-ii efemeri?

Răspuns: Ei permit clientului (browser sau aplicație mobilă) să se conecteze la serviciul vocal fără a expune cheia API principală. Credenzialele sunt de scurtă durată, limitate la o sesiune vocală și expiră de la sine, ceea ce face ca vocea în timp real să fie sigură.

5. Ce vă permit să controlați formatele audio?

Răspuns: Compromisul dintre calitate, latență și lățime de bandă: alegerea formatului și a ratei de eșantionare care se potrivesc canalului (web, telefonie SIP, LiveKit). Aceasta este optimizarea care vă duce la linia de sosire.

Sesiune, instrumente, expresivitate, securitate, formate: asistentul vocal complet din acest curs le reunește pe toate cele cinci, iar al dumneavoastră va urma același plan.