Garso formatai ir optimizavimas
Šiame puslapyje
Pasirink tinkamą formatą kiekvienam kontekstui
Garso formatas – tai vienas iš tų nustatymų, kuriuos pradžioje greitai praleidi, o vėliau gailiesi. Tačiau būtent jis lemia suvokiamą kokybę, kiekvieno klausymo sunaudojamą duomenų srautą ir suderinamumą su tavo tiksline platforma. Tinklalaidė, pateikiama kaip neapdorotas PCM, smarkiai išpučia platinimo išlaidas, o telefono srautas 24 000 Hz dažniu pakeliui bus perkoduotas, patiriant visus su tuo susijusius kokybės nuostolius. Šioje pamokoje apžvelgsime turimus formatus ir kaip tarp jų rinktis.
Palaikomi kodekai
| Kodekas | MIME tipas | Glaudinimas | Pagrindinis naudojimas |
|---|---|---|---|
mp3 | audio/mpeg | Su nuostoliais | Žiniatinklis, mobilieji, tinklalaidės |
wav | audio/wav | Be nuostolių | Garso apdorojimas, archyvavimas |
pcm | audio/pcm | Nėra (neapdorotas) | Garso vamzdynai, Voice Agent |
mulaw | audio/basic | Logaritminis | Telefonija (Amerika, Japonija) |
alaw | audio/alaw | Logaritminis | Telefonija (Europa, tarptautinis) |
MP3 tinka daugumai vartotojų platinimo atvejų. WAV skirtas garso įrašams, kuriuos dar reikia redaguoti arba kurie turi būti saugomi be nuostolių. PCM yra realaus laiko vamzdynų, įskaitant Voice Agent, keitimosi formatas, nes jo dekodavimas nieko nekainuoja. Mu-law ir A-law egzistuoja tik telefonijai ir neturi jokios priežasties atsirasti kitur.
Diskretizavimo dažniai
Diskretizavimo dažnis nustato signalo tikslumą: kuo jis didesnis, tuo geriau atsiskleidžia aukšti dažniai, tačiau tuo didesnis failas.
| Diskretizavimo dažnis | Kokybė | Naudojimas |
|---|---|---|
| 8 000 Hz | Telefonija | VoIP, SIP, G.711 |
| 16 000 Hz | Plataus dažnio kalba | Transkripcija, kalbos atpažinimas |
| 22 050 Hz | FM radijas | Tinklalaidės, pranešimai |
| 24 000 Hz | TTS standartas (numatytasis) | Bendras naudojimas |
| 44 100 Hz | CD garso kokybė | Muzikos kūryba, garso knygos |
| 48 000 Hz | Vaizdo įrašai/transliacijos | Garso apdorojimas, transliavimas |
Praktiškai pakanka išspręsti tris atvejus. Telefonijai būtinas 8 000 Hz dažnis – be jokių diskusijų, to reikalauja G.711. Žiniatinklio ir mobiliųjų programėlių atveju puikiai tinka numatytasis 24 000 Hz dažnis – tai geriausias balso kokybės ir duomenų srauto balansas. Gamybiniam darbui, pavyzdžiui, garso knygai ar vaizdo įrašo garso takeliui, pateisintas 44 100 arba 48 000 Hz dažnis, nes failas bus maišomas, normalizuojamas, galbūt iš naujo koduojamas, o kiekvienas žingsnis šiek tiek sumažina kokybę.
MP3 bitų sparta
Naudojant MP3 kodeką, bitų sparta nustato glaudinimo lygį ir taip galutinį failo dydį.
| Bitų sparta | Kokybė | Dydis 1 min. |
|---|---|---|
| 32 000 bps | Žema | ~240 KB |
| 64 000 bps | Vidutinė | ~480 KB |
| 96 000 bps | Gera | ~720 KB |
| 128 000 bps (numatytoji) | Labai gera | ~960 KB |
| 192 000 bps | Puiki | ~1,4 MB |
Kalba užima tik mažą spektro dalį: 128 kbps jau labai gerai ją atkuria, o pakėlimas iki 192 kbps padidina tavo katalogo svorį beveik perpus, nors klausytojas kalbamoje medžiagoje skirtumo neišgirs. Šį aukščiausią lygį palik premium klasės produkcijai ar muzikiniams fragmentams.
Konvertuok garso įrašus naudojant Python
Voice Agent pateikia neapdorotą, base64 koduotą PCM, ir beveik kiekviename projekte tenka atlikti du konvertavimus. Pirmasis paverčia tą srautą į „numpy“ masyvą, normalizuotą intervale nuo -1 iki 1 – tai formatas, kurio tikisi dauguma signalų apdorojimo bibliotekų, ir atvirkščiai – siunčiant garso duomenis atgal į API.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Antrasis apgaubia PCM WAV konteineriu. Be šios antraštės garso grotuvas nežino nei kanalų skaičiaus, nei kokį diskretizavimo dažnį manyti, todėl arba atsisakys failo, arba grojama neteisingu greičiu.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimizuok pagal paskirties vietą
Žiniatinklio programėlei naudok 128 kbps MP3 esant 24 000 Hz dažniui TTS ir 24 000 Hz PCM Voice Agent, kuriam būtinas abipusis srautinis perdavimas. Savo statinius garso išteklius, pavyzdžiui, džinglus ir iš anksto įrašytus pranešimus, vieną kartą visam laikui konvertuok į MP3, užuot tiekęs WAV kiekvienam lankytojui.
Telefonijai griežtai laikykis G.711 esant 8 000 Hz dažniui ir sukonfigūruok Voice Agent tiesiai tuo formatu: bet koks realaus laiko perkodavimas pridės delsos, kurios negali sau leisti.
Saugojimui atskirk archyvavimą ir platinimą: pagrindinė versija lieka 24 000 Hz WAV formatu, paruošta tolesniam apdorojimui, o platini 128 kbps MP3, kuris yra daug lengvesnis. Tas pats turinys, du failai, dvi paskirtys.
Valdyk atmintį naršyklėje
Srautinio grojimo metu kiekvienas URL.createObjectURL iškvietimas rezervuoja atmintį, kurios naršyklė pati neatlaisvina. Ilgos sesijos metu šie URL kaupiasi, kol skirtukas pradeda veikti labai lėtai. Prieš kurdamas naują, panaikink ankstesnį:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Atlaisvinkite ankstesnį URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Grokite garso įrašą...
}
Interpretuok TTS klaidų kodus
| Kodas | Reikšmė | Veiksmas |
|---|---|---|
| 200 | Sėkmė | Garso įrašas atsako kūne |
| 400 | Netinkamas užklausos formatas | Patikrink tekstą, kodeką ir diskretizavimo dažnį |
| 401 | Neautorizuota | Patikrink API raktą |
| 429 | Viršyta kvota | Įgyvendink eksponentinį atsitraukimą |
| 500/503 | Serverio klaida | Bandyk iš naujo su atsitraukimu |
400 klaidos ištaisomos tavo kode ir savaime neišnyks: jos kyla dėl nesuderinamo parametro, paprastai dėl diskretizavimo dažnio, kurio pasirinktas kodekas nepriima. Tuo tarpu 429 ir 5xx klaidos reikalauja tokio paties atsako: eksponentinio atsitraukimo, kai delsos tarp bandymų dvigubėja. Iškart kartojamas ciklas tik pablogina situaciją, dar labiau apkraudamas kvotą, kurią ką tik viršijai.
Svarbiausi punktai
- Yra penki kodekai: MP3, WAV, PCM, mu-law ir A-law, kiekvienas pritaikytas specifiniam kontekstui
- Numatytasis diskretizavimo dažnis yra 24 000 Hz; telefonijai naudok 8 000 Hz, o gamybai – 44 100 Hz arba didesnį
- 128 kbps MP3 siūlo geriausią kokybės ir dydžio santykį kalbai
- Naršyklėje valdyk Blob URL, kad išvengtum atminties nutekėjimo
- Įgyvendink eksponentinį atsitraukimą, kad tvarkytum 429 (apyribos viršijimas) ir 5xx klaidas
Patikrink savo supratimą
Voice Agent ir TTS: balsas nuo pradžių iki galo penkiuose klausimuose.
1. Kaip veikia Voice Agent sesija?
Atsakymas: Per realaus laiko WebSocket. Sukonfigūruoji sesiją (balso, asmenybės, instrukcijos), tada įvykiai teka abiem kryptimis: viena kryptimi – naudotojo garso įrašas, kita – agento atsakymai balsu.
2. Ką leidžia daryti funkcijų kvietimas balso režimu?
Atsakymas: Balso agentas pokalbio metu gali kviesti tavo įrankius norėdamas peržiūrėti paskyrą, atlikti rezervaciją ar imtis veiksmų. Balsas tampa pilnaverte sąsaja, o ne tik diktavimo mašina.
3. Ką suteikia TTS išraiškingumo žymos?
Atsakymas: Kalbos valdymą: intonaciją, pauzes, akcentus. Sintezė neskamba monotoniškai ir seka teksto intenciją visomis palaikomomis kalbomis.
4. Kodėl svarbūs laikinieji prieigos raktai?
Atsakymas: Jie leidžia klientui (naršyklei ar mobiliąjai programėlei) prisijungti prie balso paslaugos neatskleidžiant tavo pagrindinio API rakto. Prisijungimo duomenys yra trumpalaikiai, apriboti balso sesija ir savaime galioja tik tam tikrą laiką, todėl realaus laiko balsas yra saugus.
5. Ką leidžia kontroliuoti garso formatai?
Atsakymas: Kompromisą tarp kokybės, delsos ir duomenų srauto: pasirenki formatą ir diskretizavimo dažnį, atitinkantį kanalą (žiniatinklis, SIP telefonija, LiveKit). Būtent šis optimizavimas padeda sėkmingai užbaigti projektą.
Sesija, įrankiai, išraiškingumas, saugumas, formatai: šiame kurse pateiktas visas balso asistentas sujungia visas penkias dalis, ir tavo projektas laikysis to paties plano.