Audio formāti un optimizācija
Šajā lapā
Izvēlies pareizo formātu katram kontekstam
Audio formāts ir viens no tiem iestatījumiem, ko sākumā steidzīgi noklikšķini un vēlāk nožēlo. Taču tieši tas nosaka uztverto kvalitāti, datu plūsmas apjomu, ko patērē katra atskaņošana, un saderību ar tavo mērķa platformu. Apraide, kas piegādāta kā neapstrādāts PCM, uzspridzinās tavas izplatīšanas izmaksas, bet telefona plūsma ar 24 000 Hz tiks pārkodēta ceļā, līdzi nesot visu degradāciju, kas no tā izriet. Šī nodarbība apskata pieejamos formātus un to, kā izvēlēties starp tiem.
Atbalstītie kodeki
| Kodeks | MIME tips | Kompresija | Galvenais pielietojums |
|---|---|---|---|
mp3 | audio/mpeg | Ar zudumiem | Tīmeklis, mobilās ierīces, apraides |
wav | audio/wav | Bez zudumiem | Pēcapstrāde, arhivēšana |
pcm | audio/pcm | Nav (neapstrādāts) | Audio cauruļvadi, Voice Agent |
mulaw | audio/basic | Logaritmiskā | Telefonija (Amerika, Japāna) |
alaw | audio/alaw | Logaritmiskā | Telefonija (Eiropa, starptautiski) |
MP3 aptver lielāko daļu patērētāju izplatīšanas. WAV ir paredzēts audio, kas vēl jārediģē vai jāsaglabā bez zudumiem. PCM ir reāllaika cauruļvadu, tostarp Voice Agent, apmaiņas formāts, jo tā dekodēšana neprasīs papildu resursus. Mu-law un A-law pastāv tikai telefonijai un tiem nav iemesla parādīties citur.
Diskretizācijas frekvences
Diskretizācijas frekvence nosaka signāla detalizētību: jo augstāka tā ir, jo labāk tiek atskaņotas augstās frekvences, un jo lielāks ir fails.
| Diskretizācijas frekvence | Kvalitāte | Pielietojums |
|---|---|---|
| 8 000 Hz | Telefonija | VoIP, SIP, G.711 |
| 16 000 Hz | Platjoslas runa | Transkripcija, runas atpazīšana |
| 22 050 Hz | FM radio | Apraides, paziņojumi |
| 24 000 Hz | TTS standarts (noklusējums) | Vispārēja lietošana |
| 44 100 Hz | CD audio | Mūzikas producēšana, audiogrāmatas |
| 48 000 Hz | Video/raide | Pēcapstrāde, raidīšana |
Praksē viss atrisinās trīs gadījumos. Telefonijai ir nepieciešami 8 000 Hz, bez diskusijām: to prasa G.711. Tīmeklim un mobilajām ierīcēm pietiek ar noklusējuma 24 000 Hz – tas ir labākais līdzsvars starp kvalitāti un datu plūsmu balsij. Produkcijas darbi, piemēram, audiogrāmata vai video skaņas celiņš, attaisno 44 100 vai 48 000 Hz izmantošanu, jo fails tiks sajaukts, normalizēts un, iespējams, atkārtoti kodēts, un katrs solis nedaudz samazina kvalitāti.
MP3 bitu ātrumi
Izmantojot MP3 kodeku, bitu ātrums nosaka kompresiju un līdz ar to galīgo faila lielumu.
| Bitu ātrums | Kvalitāte | Lielums 1 minūtei |
|---|---|---|
| 32 000 bps | Zema | ~240 KB |
| 64 000 bps | Vidēja | ~480 KB |
| 96 000 bps | laba | ~720 KB |
| 128 000 bps (noklusējums) | Ļoti laba | ~960 KB |
| 192 000 bps | Izcila | ~1,4 MB |
Runa aizņem tikai nelielu spektra daļu: 128 kbps to jau atveido ļoti labi, un pāreja uz 192 kbps padara tavu katalogu par pusi smagāku, neklausītājam nemanot atšķirību runātā saturā. Saglabā augstāko līmeni premium produkcijai vai muzikāliem fragmentiem.
Audio konvertēšana Python valodā
Voice Agent piegādā neapstrādātu, base64 kodētu PCM, un gandrīz katrā projektā nākas veikt divas konversijas. Pirmā pārvērš šo plūsmu par numpy masīvu, normalizētu robežās no -1 līdz 1, kas ir formāts, ko sagaida lielākā daļa signālapstrādes bibliotēku, un otrā dara pretējo, lai nosūtītu audio atpakaļ uz API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Otrā ietver PCM WAV konteinerā. Bez šīs galvenes audio atskaņotājs nezina ne kanālu skaitu, ne paredzamo diskretizācijas frekvenci, tāpēc tas vai nu noraidīs failu, vai atskaņos to ar nepareizu ātrumu.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimizēšana galamērķim
Tīmekļa lietotnei pieturieties pie 128 kbps MP3 ar 24 000 Hz TTS un 24 000 Hz PCM priekš Voice Agent, kam nepieciešama abpusēja straumēšana. Konvertējiet savus statiskos audio resursus, piemēram, džinglus un iepriekš ierakstītus ziņojumus, uz MP3 vienreiz un uz visiem laikiem, nevis pasniedziet WAV katram apmeklētājam.
Telefonijai stingri palieciet pie G.711 ar 8 000 Hz un konfigurējiet Voice Agent tieši šajā formātā: jebkura reāllaika pārkodēšana pievieno latentumu, kam jums nav lieko resursu.
Glabāšanai nošķiriet arhivēšanu un izplatīšanu: meistara fails paliek 24 000 Hz WAV formātā, gatavs pārstrādei, bet izplatīšanai izmantojat 128 kbps MP3, kas ir daudz vieglāks. Tas pats saturs, divi faili, divi mērķi.
Atmiņas pārvaldība pārlūkprogrammā
Straumēšanas atskaņošanas laikā katrs URL.createObjectURL izsaukums rezervē atmiņu, ko pārlūkprogramma neatbrīvo pati. Ilgas sesijas laikā šie URL krājas, līdz cilne sāk strādāt ārkārtīgi lēni. Atsauciet iepriekšējo URL pirms jauna izveides:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Atbrīvo iepriekšējo URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Atskaņo audio...
}
TTS kļūdu kodu interpretācija
| Kods | Nozīme | Darbība |
|---|---|---|
| 200 | Veiksmīgi | Audio atbildes ķermenī |
| 400 | Nepareizs pieprasījums | Pārbaudi tekstu, kodeku un diskretizācijas frekvenci |
| 401 | Nepilnvarots | Pārbaudi API atslēgu |
| 429 | Kvota pārsniegta | Ievies eksponenciālu pauzi (backoff) |
| 500/503 | Servera kļūda | Mēģini vēlreiz ar pauzi |
400 kļūdas tiek labotas tavā kodā un nepazudīs pašas no sevis: tās rodas no nesaderīga parametra, parasti diskretizācijas frekvences, ko izvēlētais kodeks nepieņem. Savukārt 429 un 5xx kļūdas prasa vienu un to pašu reakciju: eksponenciālu pauzi, kur aiztures laiks dubultojas ar katru mēģinājumu. Tūlītējs atkārtojumu cikls tikai pasliktina situāciju, bombardējot kvotu, ko tikko esi pārsniedzis.
Galvenās atziņas
- Pieejami pieci kodeki: MP3, WAV, PCM, mu-law un A-law, katrs piemērots konkrētam kontekstam
- Noklusējuma diskretizācijas frekvence ir 24 000 Hz; telefonijai izmanto 8 000 Hz, bet producēšanai – 44 100 Hz vai augstāku
- 128 kbps MP3 piedāvā labāko kvalitātes un lieluma attiecību runātai balsij
- Pārvaldi Blob URL pārlūkprogrammā, lai izvairītos no atmiņas noplūdēm
- Ievies eksponenciālu pauzi, lai apstrādātu 429 (ātruma ierobežojums) un 5xx kļūdas
Pārbaudi savu izpratni
Voice Agent un TTS: balss no sākuma līdz beigām piecos jautājumos.
1. Kā darbojas Voice Agent sesija?
Atbilde: Caur reāllaika WebSocket. Tu konfigurē sesiju (balss, personība, instrukcijas), tad notikumi plūst abos virzienos: lietotāja audio vienā virzienā, aģenta mutiskās atbildes – otrā.
2. Ko ļauj sasniegt funkciju izsaukšana balsī?
Atbilde: Balss aģents sarunas laikā izsauc tavus rīkus, lai apskatītu kontu, veiktu rezervāciju vai veiktu darbību. Balss kļūst par pilnvērtīgu saskarni, nevis tikai diktēšanas mašīnu.
3. Ko pievieno TTS izteiksmes tagi?
Atbilde: Kontroli pār runu: intonāciju, pauzes, uzsvaru. Sintēze vairs neizklausās monotoni un seko teksta nodomam katrā atbalstītajā valodā.
4. Kāpēc ir svarīgi īslaicīgie žetoni?
Atbilde: Tie ļauj klientam (pārlūkprogrammai vai mobilajai lietotnei) pieslēgties balss servisam, neatklājot tavu galveno API atslēgu. Akreditācijas dati ir īslaicīgi, attiecināti uz konkrētu balss sesiju un beidzas paši, kas padara reāllaika balsi drošu.
5. Ko ļauj kontrolēt audio formāti?
Atbilde: Līdzsvaru starp kvalitāti, latentumu un datu plūsmu: izvēloties formātu un diskretizācijas frekvenci, kas atbilst kanālam (tīmeklis, SIP telefonija, LiveKit). Tā ir optimizācija, kas ļauj tev sasniegt finišu.
Sesija, rīki, izteiksmīgums, drošība, formāti: šajā kursā aplūkotais pilnīgais balss asistents apvieno visas piecas sastāvdaļas, un tavs sekos tam pašam plānam.