Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Garso formatai ir optimizavimas

Paskaita 14 iš 14 Atnaujinta 2026 m. liepos 29 d. Vidutinis lygis
Šiame puslapyje
  1. Pasirink tinkamą formatą kiekvienam kontekstui
  2. Palaikomi kodekai
  3. Diskretizavimo dažniai
  4. MP3 bitų sparta
  5. Konvertuok garso įrašus naudojant Python
  6. Optimizuok pagal paskirties vietą
  7. Valdyk atmintį naršyklėje
  8. Interpretuok TTS klaidų kodus
  9. Svarbiausi punktai
  10. Patikrink savo supratimą

Pasirink tinkamą formatą kiekvienam kontekstui

Garso formatas – tai vienas iš tų nustatymų, kuriuos pradžioje greitai praleidi, o vėliau gailiesi. Tačiau būtent jis lemia suvokiamą kokybę, kiekvieno klausymo sunaudojamą duomenų srautą ir suderinamumą su tavo tiksline platforma. Tinklalaidė, pateikiama kaip neapdorotas PCM, smarkiai išpučia platinimo išlaidas, o telefono srautas 24 000 Hz dažniu pakeliui bus perkoduotas, patiriant visus su tuo susijusius kokybės nuostolius. Šioje pamokoje apžvelgsime turimus formatus ir kaip tarp jų rinktis.

Palaikomi kodekai

KodekasMIME tipasGlaudinimasPagrindinis naudojimas
mp3audio/mpegSu nuostoliaisŽiniatinklis, mobilieji, tinklalaidės
wavaudio/wavBe nuostoliųGarso apdorojimas, archyvavimas
pcmaudio/pcmNėra (neapdorotas)Garso vamzdynai, Voice Agent
mulawaudio/basicLogaritminisTelefonija (Amerika, Japonija)
alawaudio/alawLogaritminisTelefonija (Europa, tarptautinis)

MP3 tinka daugumai vartotojų platinimo atvejų. WAV skirtas garso įrašams, kuriuos dar reikia redaguoti arba kurie turi būti saugomi be nuostolių. PCM yra realaus laiko vamzdynų, įskaitant Voice Agent, keitimosi formatas, nes jo dekodavimas nieko nekainuoja. Mu-law ir A-law egzistuoja tik telefonijai ir neturi jokios priežasties atsirasti kitur.

Diskretizavimo dažniai

Diskretizavimo dažnis nustato signalo tikslumą: kuo jis didesnis, tuo geriau atsiskleidžia aukšti dažniai, tačiau tuo didesnis failas.

Diskretizavimo dažnisKokybėNaudojimas
8 000 HzTelefonijaVoIP, SIP, G.711
16 000 HzPlataus dažnio kalbaTranskripcija, kalbos atpažinimas
22 050 HzFM radijasTinklalaidės, pranešimai
24 000 HzTTS standartas (numatytasis)Bendras naudojimas
44 100 HzCD garso kokybėMuzikos kūryba, garso knygos
48 000 HzVaizdo įrašai/transliacijosGarso apdorojimas, transliavimas

Praktiškai pakanka išspręsti tris atvejus. Telefonijai būtinas 8 000 Hz dažnis – be jokių diskusijų, to reikalauja G.711. Žiniatinklio ir mobiliųjų programėlių atveju puikiai tinka numatytasis 24 000 Hz dažnis – tai geriausias balso kokybės ir duomenų srauto balansas. Gamybiniam darbui, pavyzdžiui, garso knygai ar vaizdo įrašo garso takeliui, pateisintas 44 100 arba 48 000 Hz dažnis, nes failas bus maišomas, normalizuojamas, galbūt iš naujo koduojamas, o kiekvienas žingsnis šiek tiek sumažina kokybę.

MP3 bitų sparta

Naudojant MP3 kodeką, bitų sparta nustato glaudinimo lygį ir taip galutinį failo dydį.

Bitų spartaKokybėDydis 1 min.
32 000 bpsŽema~240 KB
64 000 bpsVidutinė~480 KB
96 000 bpsGera~720 KB
128 000 bps (numatytoji)Labai gera~960 KB
192 000 bpsPuiki~1,4 MB

Kalba užima tik mažą spektro dalį: 128 kbps jau labai gerai ją atkuria, o pakėlimas iki 192 kbps padidina tavo katalogo svorį beveik perpus, nors klausytojas kalbamoje medžiagoje skirtumo neišgirs. Šį aukščiausią lygį palik premium klasės produkcijai ar muzikiniams fragmentams.

Konvertuok garso įrašus naudojant Python

Voice Agent pateikia neapdorotą, base64 koduotą PCM, ir beveik kiekviename projekte tenka atlikti du konvertavimus. Pirmasis paverčia tą srautą į „numpy“ masyvą, normalizuotą intervale nuo -1 iki 1 – tai formatas, kurio tikisi dauguma signalų apdorojimo bibliotekų, ir atvirkščiai – siunčiant garso duomenis atgal į API.

import base64
import numpy as np

def base64_to_audio(base64_audio: str) -> np.ndarray:
    audio_bytes = base64.b64decode(base64_audio)
    audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
    return audio_int16.astype(np.float32) / 32768.0

def audio_to_base64(audio_data: np.ndarray) -> str:
    audio_int16 = (audio_data * 32767).astype(np.int16)
    return base64.b64encode(audio_int16.tobytes()).decode("utf-8")

Antrasis apgaubia PCM WAV konteineriu. Be šios antraštės garso grotuvas nežino nei kanalų skaičiaus, nei kokį diskretizavimo dažnį manyti, todėl arba atsisakys failo, arba grojama neteisingu greičiu.

import wave

def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
    import io
    buffer = io.BytesIO()
    with wave.open(buffer, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)  # 16-bit
        wf.setframerate(sample_rate)
        wf.writeframes(pcm_data)
    return buffer.getvalue()

Optimizuok pagal paskirties vietą

Žiniatinklio programėlei naudok 128 kbps MP3 esant 24 000 Hz dažniui TTS ir 24 000 Hz PCM Voice Agent, kuriam būtinas abipusis srautinis perdavimas. Savo statinius garso išteklius, pavyzdžiui, džinglus ir iš anksto įrašytus pranešimus, vieną kartą visam laikui konvertuok į MP3, užuot tiekęs WAV kiekvienam lankytojui.

Telefonijai griežtai laikykis G.711 esant 8 000 Hz dažniui ir sukonfigūruok Voice Agent tiesiai tuo formatu: bet koks realaus laiko perkodavimas pridės delsos, kurios negali sau leisti.

Saugojimui atskirk archyvavimą ir platinimą: pagrindinė versija lieka 24 000 Hz WAV formatu, paruošta tolesniam apdorojimui, o platini 128 kbps MP3, kuris yra daug lengvesnis. Tas pats turinys, du failai, dvi paskirtys.

Valdyk atmintį naršyklėje

Srautinio grojimo metu kiekvienas URL.createObjectURL iškvietimas rezervuoja atmintį, kurios naršyklė pati neatlaisvina. Ilgos sesijos metu šie URL kaupiasi, kol skirtukas pradeda veikti labai lėtai. Prieš kurdamas naują, panaikink ankstesnį:

let currentBlobUrl = null;

function playAudioChunk(base64Data) {
  // Atlaisvinkite ankstesnį URL
  if (currentBlobUrl) {
    URL.revokeObjectURL(currentBlobUrl);
  }

  const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
  const blob = new Blob([audioBuffer], { type: "audio/pcm" });
  currentBlobUrl = URL.createObjectURL(blob);
  // Grokite garso įrašą...
}

Interpretuok TTS klaidų kodus

KodasReikšmėVeiksmas
200SėkmėGarso įrašas atsako kūne
400Netinkamas užklausos formatasPatikrink tekstą, kodeką ir diskretizavimo dažnį
401NeautorizuotaPatikrink API raktą
429Viršyta kvotaĮgyvendink eksponentinį atsitraukimą
500/503Serverio klaidaBandyk iš naujo su atsitraukimu

400 klaidos ištaisomos tavo kode ir savaime neišnyks: jos kyla dėl nesuderinamo parametro, paprastai dėl diskretizavimo dažnio, kurio pasirinktas kodekas nepriima. Tuo tarpu 429 ir 5xx klaidos reikalauja tokio paties atsako: eksponentinio atsitraukimo, kai delsos tarp bandymų dvigubėja. Iškart kartojamas ciklas tik pablogina situaciją, dar labiau apkraudamas kvotą, kurią ką tik viršijai.

Svarbiausi punktai

  • Yra penki kodekai: MP3, WAV, PCM, mu-law ir A-law, kiekvienas pritaikytas specifiniam kontekstui
  • Numatytasis diskretizavimo dažnis yra 24 000 Hz; telefonijai naudok 8 000 Hz, o gamybai – 44 100 Hz arba didesnį
  • 128 kbps MP3 siūlo geriausią kokybės ir dydžio santykį kalbai
  • Naršyklėje valdyk Blob URL, kad išvengtum atminties nutekėjimo
  • Įgyvendink eksponentinį atsitraukimą, kad tvarkytum 429 (apyribos viršijimas) ir 5xx klaidas

Patikrink savo supratimą

Voice Agent ir TTS: balsas nuo pradžių iki galo penkiuose klausimuose.

1. Kaip veikia Voice Agent sesija?

Atsakymas: Per realaus laiko WebSocket. Sukonfigūruoji sesiją (balso, asmenybės, instrukcijos), tada įvykiai teka abiem kryptimis: viena kryptimi – naudotojo garso įrašas, kita – agento atsakymai balsu.

2. Ką leidžia daryti funkcijų kvietimas balso režimu?

Atsakymas: Balso agentas pokalbio metu gali kviesti tavo įrankius norėdamas peržiūrėti paskyrą, atlikti rezervaciją ar imtis veiksmų. Balsas tampa pilnaverte sąsaja, o ne tik diktavimo mašina.

3. Ką suteikia TTS išraiškingumo žymos?

Atsakymas: Kalbos valdymą: intonaciją, pauzes, akcentus. Sintezė neskamba monotoniškai ir seka teksto intenciją visomis palaikomomis kalbomis.

4. Kodėl svarbūs laikinieji prieigos raktai?

Atsakymas: Jie leidžia klientui (naršyklei ar mobiliąjai programėlei) prisijungti prie balso paslaugos neatskleidžiant tavo pagrindinio API rakto. Prisijungimo duomenys yra trumpalaikiai, apriboti balso sesija ir savaime galioja tik tam tikrą laiką, todėl realaus laiko balsas yra saugus.

5. Ką leidžia kontroliuoti garso formatai?

Atsakymas: Kompromisą tarp kokybės, delsos ir duomenų srauto: pasirenki formatą ir diskretizavimo dažnį, atitinkantį kanalą (žiniatinklis, SIP telefonija, LiveKit). Būtent šis optimizavimas padeda sėkmingai užbaigti projektą.

Sesija, įrankiai, išraiškingumas, saugumas, formatai: šiame kurse pateiktas visas balso asistentas sujungia visas penkias dalis, ir tavo projektas laikysis to paties plano.