Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Audio formāti un optimizācija

Nodarbība 14 no 14 Atjaunota 2026. gada 29. jūlijs Vidējs
Šajā lapā
  1. Izvēlies pareizo formātu katram kontekstam
  2. Atbalstītie kodeki
  3. Diskretizācijas frekvences
  4. MP3 bitu ātrumi
  5. Audio konvertēšana Python valodā
  6. Optimizēšana galamērķim
  7. Atmiņas pārvaldība pārlūkprogrammā
  8. TTS kļūdu kodu interpretācija
  9. Galvenās atziņas
  10. Pārbaudi savu izpratni

Izvēlies pareizo formātu katram kontekstam

Audio formāts ir viens no tiem iestatījumiem, ko sākumā steidzīgi noklikšķini un vēlāk nožēlo. Taču tieši tas nosaka uztverto kvalitāti, datu plūsmas apjomu, ko patērē katra atskaņošana, un saderību ar tavo mērķa platformu. Apraide, kas piegādāta kā neapstrādāts PCM, uzspridzinās tavas izplatīšanas izmaksas, bet telefona plūsma ar 24 000 Hz tiks pārkodēta ceļā, līdzi nesot visu degradāciju, kas no tā izriet. Šī nodarbība apskata pieejamos formātus un to, kā izvēlēties starp tiem.

Atbalstītie kodeki

KodeksMIME tipsKompresijaGalvenais pielietojums
mp3audio/mpegAr zudumiemTīmeklis, mobilās ierīces, apraides
wavaudio/wavBez zudumiemPēcapstrāde, arhivēšana
pcmaudio/pcmNav (neapstrādāts)Audio cauruļvadi, Voice Agent
mulawaudio/basicLogaritmiskāTelefonija (Amerika, Japāna)
alawaudio/alawLogaritmiskāTelefonija (Eiropa, starptautiski)

MP3 aptver lielāko daļu patērētāju izplatīšanas. WAV ir paredzēts audio, kas vēl jārediģē vai jāsaglabā bez zudumiem. PCM ir reāllaika cauruļvadu, tostarp Voice Agent, apmaiņas formāts, jo tā dekodēšana neprasīs papildu resursus. Mu-law un A-law pastāv tikai telefonijai un tiem nav iemesla parādīties citur.

Diskretizācijas frekvences

Diskretizācijas frekvence nosaka signāla detalizētību: jo augstāka tā ir, jo labāk tiek atskaņotas augstās frekvences, un jo lielāks ir fails.

Diskretizācijas frekvenceKvalitātePielietojums
8 000 HzTelefonijaVoIP, SIP, G.711
16 000 HzPlatjoslas runaTranskripcija, runas atpazīšana
22 050 HzFM radioApraides, paziņojumi
24 000 HzTTS standarts (noklusējums)Vispārēja lietošana
44 100 HzCD audioMūzikas producēšana, audiogrāmatas
48 000 HzVideo/raidePēcapstrāde, raidīšana

Praksē viss atrisinās trīs gadījumos. Telefonijai ir nepieciešami 8 000 Hz, bez diskusijām: to prasa G.711. Tīmeklim un mobilajām ierīcēm pietiek ar noklusējuma 24 000 Hz – tas ir labākais līdzsvars starp kvalitāti un datu plūsmu balsij. Produkcijas darbi, piemēram, audiogrāmata vai video skaņas celiņš, attaisno 44 100 vai 48 000 Hz izmantošanu, jo fails tiks sajaukts, normalizēts un, iespējams, atkārtoti kodēts, un katrs solis nedaudz samazina kvalitāti.

MP3 bitu ātrumi

Izmantojot MP3 kodeku, bitu ātrums nosaka kompresiju un līdz ar to galīgo faila lielumu.

Bitu ātrumsKvalitāteLielums 1 minūtei
32 000 bpsZema~240 KB
64 000 bpsVidēja~480 KB
96 000 bpslaba~720 KB
128 000 bps (noklusējums)Ļoti laba~960 KB
192 000 bpsIzcila~1,4 MB

Runa aizņem tikai nelielu spektra daļu: 128 kbps to jau atveido ļoti labi, un pāreja uz 192 kbps padara tavu katalogu par pusi smagāku, neklausītājam nemanot atšķirību runātā saturā. Saglabā augstāko līmeni premium produkcijai vai muzikāliem fragmentiem.

Audio konvertēšana Python valodā

Voice Agent piegādā neapstrādātu, base64 kodētu PCM, un gandrīz katrā projektā nākas veikt divas konversijas. Pirmā pārvērš šo plūsmu par numpy masīvu, normalizētu robežās no -1 līdz 1, kas ir formāts, ko sagaida lielākā daļa signālapstrādes bibliotēku, un otrā dara pretējo, lai nosūtītu audio atpakaļ uz API.

import base64
import numpy as np

def base64_to_audio(base64_audio: str) -> np.ndarray:
    audio_bytes = base64.b64decode(base64_audio)
    audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
    return audio_int16.astype(np.float32) / 32768.0

def audio_to_base64(audio_data: np.ndarray) -> str:
    audio_int16 = (audio_data * 32767).astype(np.int16)
    return base64.b64encode(audio_int16.tobytes()).decode("utf-8")

Otrā ietver PCM WAV konteinerā. Bez šīs galvenes audio atskaņotājs nezina ne kanālu skaitu, ne paredzamo diskretizācijas frekvenci, tāpēc tas vai nu noraidīs failu, vai atskaņos to ar nepareizu ātrumu.

import wave

def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
    import io
    buffer = io.BytesIO()
    with wave.open(buffer, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)  # 16-bit
        wf.setframerate(sample_rate)
        wf.writeframes(pcm_data)
    return buffer.getvalue()

Optimizēšana galamērķim

Tīmekļa lietotnei pieturieties pie 128 kbps MP3 ar 24 000 Hz TTS un 24 000 Hz PCM priekš Voice Agent, kam nepieciešama abpusēja straumēšana. Konvertējiet savus statiskos audio resursus, piemēram, džinglus un iepriekš ierakstītus ziņojumus, uz MP3 vienreiz un uz visiem laikiem, nevis pasniedziet WAV katram apmeklētājam.

Telefonijai stingri palieciet pie G.711 ar 8 000 Hz un konfigurējiet Voice Agent tieši šajā formātā: jebkura reāllaika pārkodēšana pievieno latentumu, kam jums nav lieko resursu.

Glabāšanai nošķiriet arhivēšanu un izplatīšanu: meistara fails paliek 24 000 Hz WAV formātā, gatavs pārstrādei, bet izplatīšanai izmantojat 128 kbps MP3, kas ir daudz vieglāks. Tas pats saturs, divi faili, divi mērķi.

Atmiņas pārvaldība pārlūkprogrammā

Straumēšanas atskaņošanas laikā katrs URL.createObjectURL izsaukums rezervē atmiņu, ko pārlūkprogramma neatbrīvo pati. Ilgas sesijas laikā šie URL krājas, līdz cilne sāk strādāt ārkārtīgi lēni. Atsauciet iepriekšējo URL pirms jauna izveides:

let currentBlobUrl = null;

function playAudioChunk(base64Data) {
  // Atbrīvo iepriekšējo URL
  if (currentBlobUrl) {
    URL.revokeObjectURL(currentBlobUrl);
  }

  const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
  const blob = new Blob([audioBuffer], { type: "audio/pcm" });
  currentBlobUrl = URL.createObjectURL(blob);
  // Atskaņo audio...
}

TTS kļūdu kodu interpretācija

KodsNozīmeDarbība
200VeiksmīgiAudio atbildes ķermenī
400Nepareizs pieprasījumsPārbaudi tekstu, kodeku un diskretizācijas frekvenci
401NepilnvarotsPārbaudi API atslēgu
429Kvota pārsniegtaIevies eksponenciālu pauzi (backoff)
500/503Servera kļūdaMēģini vēlreiz ar pauzi

400 kļūdas tiek labotas tavā kodā un nepazudīs pašas no sevis: tās rodas no nesaderīga parametra, parasti diskretizācijas frekvences, ko izvēlētais kodeks nepieņem. Savukārt 429 un 5xx kļūdas prasa vienu un to pašu reakciju: eksponenciālu pauzi, kur aiztures laiks dubultojas ar katru mēģinājumu. Tūlītējs atkārtojumu cikls tikai pasliktina situāciju, bombardējot kvotu, ko tikko esi pārsniedzis.

Galvenās atziņas

  • Pieejami pieci kodeki: MP3, WAV, PCM, mu-law un A-law, katrs piemērots konkrētam kontekstam
  • Noklusējuma diskretizācijas frekvence ir 24 000 Hz; telefonijai izmanto 8 000 Hz, bet producēšanai – 44 100 Hz vai augstāku
  • 128 kbps MP3 piedāvā labāko kvalitātes un lieluma attiecību runātai balsij
  • Pārvaldi Blob URL pārlūkprogrammā, lai izvairītos no atmiņas noplūdēm
  • Ievies eksponenciālu pauzi, lai apstrādātu 429 (ātruma ierobežojums) un 5xx kļūdas

Pārbaudi savu izpratni

Voice Agent un TTS: balss no sākuma līdz beigām piecos jautājumos.

1. Kā darbojas Voice Agent sesija?

Atbilde: Caur reāllaika WebSocket. Tu konfigurē sesiju (balss, personība, instrukcijas), tad notikumi plūst abos virzienos: lietotāja audio vienā virzienā, aģenta mutiskās atbildes – otrā.

2. Ko ļauj sasniegt funkciju izsaukšana balsī?

Atbilde: Balss aģents sarunas laikā izsauc tavus rīkus, lai apskatītu kontu, veiktu rezervāciju vai veiktu darbību. Balss kļūst par pilnvērtīgu saskarni, nevis tikai diktēšanas mašīnu.

3. Ko pievieno TTS izteiksmes tagi?

Atbilde: Kontroli pār runu: intonāciju, pauzes, uzsvaru. Sintēze vairs neizklausās monotoni un seko teksta nodomam katrā atbalstītajā valodā.

4. Kāpēc ir svarīgi īslaicīgie žetoni?

Atbilde: Tie ļauj klientam (pārlūkprogrammai vai mobilajai lietotnei) pieslēgties balss servisam, neatklājot tavu galveno API atslēgu. Akreditācijas dati ir īslaicīgi, attiecināti uz konkrētu balss sesiju un beidzas paši, kas padara reāllaika balsi drošu.

5. Ko ļauj kontrolēt audio formāti?

Atbilde: Līdzsvaru starp kvalitāti, latentumu un datu plūsmu: izvēloties formātu un diskretizācijas frekvenci, kas atbilst kanālam (tīmeklis, SIP telefonija, LiveKit). Tā ir optimizācija, kas ļauj tev sasniegt finišu.

Sesija, rīki, izteiksmīgums, drošība, formāti: šajā kursā aplūkotais pilnīgais balss asistents apvieno visas piecas sastāvdaļas, un tavs sekos tam pašam plānam.