Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Helivormingud ja optimeerimine

Õppetund 14 / 14 Värskendatud 29. juuli 2026 Kesktase
Sellel lehel
  1. Vali igaks olukorraks õige vorming
  2. Toetatud koodekid
  3. Diskreetimissagedused
  4. MP3 bitikiirused
  5. Teisenda heli Pythonis
  6. Optimeeri sihtkoha jaoks
  7. Halda mälu brauseris
  8. Tõlgenda TTS veakoode
  9. Peamised punktid
  10. Kontrolli oma arusaamist

Vali igaks olukorraks õige vorming

Helivorming on üks neist seadistustest, mille alguses kiirustades läbi klõpsad ja mida hiljem kahetsed. Ometi määrab see tajutava kvaliteedi, ribalaiuse, mida iga kuulamine tarbib, ning yhteensobivuse sihtplatvormiga. Toore PCM-ina edastatud podkast paisutab sinu levituskulusid ning 24 000 Hz sagedusega telefonivoog transkodeeritakse teel edasi-tagasi koos kõige sellest tuleneva kvaliteedikaduga. Selles tunnis vaatame üle saadaolevad vormingud ja viisid, kuidas nende vahel otsustada.

Toetatud koodekid

KoodekMIME tüüpTihendusPeamine kasutusala
mp3audio/mpegKadudegaVeeb, mobiil, podkastid
wavaudio/wavKadudetaJäreltöötlus, arhiveerimine
pcmaudio/pcmPuudub (toores)Helitorustikud, Voice Agent
mulawaudio/basicLogaritmilineTelefonia (Ameerika, Jaapan)
alawaudio/alawLogaritmilineTelefonia (Euroopa, rahvusvaheline)

MP3 katab enamiku tarbijale suunatud levitusest. WAV on mõeldud helile, mida tuleb veel redigeerida või mis peab jääma kadudeta. PCM on reaalajas torustike, sealhulgas Voice Agendi vahetusvorming, kuna selle dekodeerimine ei maksa midagi. Mu-law ja A-law eksisteerivad ainult telefonia jaoks ja neil pole põhjust mujal ilmuda.

Diskreetimissagedused

Diskreetimissagedus määrab signaali täpsuse: mida kõrgem see on, seda paremini kostuvad kõrged sagedused ja seda suurem on fail.

DiskreetimissagedusKvaliteetKasutusala
8 000 HzTelefoniaVoIP, SIP, G.711
16 000 HzLaiaribaline kõneTranskriptsioon, kõnetuvastus
22 050 HzFM-raadioPodkastid, teavitused
24 000 HzTTS standard (vaikimisi)Üldkasutus
44 100 HzCD-heliMuusikatootmine, heliraamatud
48 000 HzVideo/ringhäälingJäreltöötlus, ringhääling

Praktikas lahendavad asja kolm juhtumit. Telefonia nõuab 8 000 Hz, aruteludeta: seda nõuab G.711. Veeb ja mobiil saavad hästi hakkama vaikimisi 24 000 Hz-ga, mis on kõne jaoks parim tasakaal kvaliteedi ja ribalaiuse vahel. Tootmistöö, nagu heliraamat või video helirada, õigustab 44 100 või 48 000 Hz kasutamist, sest faili miksitakse, normaliseeritakse ja võimalik, et kodeeritakse uuesti, ning iga samm sööb veidi kvaliteeti.

MP3 bitikiirused

MP3-koodeki puhul määrab bitikiirus tihenduse ja seega lõpliku faili suuruse.

BitikiirusKvaliteetSuurus 1 minuti kohta
32 000 bpsMadal~240 KB
64 000 bpsKeskmine~480 KB
96 000 bpsHea~720 KB
128 000 bps (vaikimisi)Väga hea~960 KB
192 000 bpsSuurepärane~1,4 MB

Kõne hõivab spektrist vaid väikese osa: 128 kbps taasesitab seda juba väga hästi ja 192 kbps-ni minek teeb sinu kataloogi poole võrra raskemaks, ilma et kuulaja räägitud sisus vahet teeks. Jäta see ülemine tase premium-toodangule või muusikalõikudele.

Teisenda heli Pythonis

Voice Agent edastab toorest, base64-kodeeritud PCM-i ja peaaegu igas projektis tuleb ette kaks teisendust. Esimene muudab selle voogu numpy massiiviks, mis on normaliseeritud vahemikku -1 kuni 1 – vormingusse, mida enamik signaalitöötlusteegid ootab – ja liigub vastupidises suunas, et saata heli tagasi API-le.

import base64
import numpy as np

def base64_to_audio(base64_audio: str) -> np.ndarray:
    audio_bytes = base64.b64decode(base64_audio)
    audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
    return audio_int16.astype(np.float32) / 32768.0

def audio_to_base64(audio_data: np.ndarray) -> str:
    audio_int16 = (audio_data * 32767).astype(np.int16)
    return base64.b64encode(audio_int16.tobytes()).decode("utf-8")

Teine pakib PCM-i WAV-konteinerisse. Ilma selle päiseta ei tea helimängija ei kanalite arvu ega seda, millist diskreetimissagedust eeldada, ning see kas keeldub failist või esitab seda vale kiirusega.

import wave

def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
    import io
    buffer = io.BytesIO()
    with wave.open(buffer, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)  # 16-bit
        wf.setframerate(sample_rate)
        wf.writeframes(pcm_data)
    return buffer.getvalue()

Optimeeri sihtkoha jaoks

Veebirakenduse puhul jää 128 kbps MP3 juurde sagedusel 24 000 Hz TTS-i jaoks ja 24 000 Hz PCM-i juurde Voice Agendi jaoks, mida kahepoolne voogedastus nõuab. Teisenda oma staatilised helivarad, nagu jinglid ja eelsalvestatud sõnumid, üks kord ja lõplikult MP3-ks, selle asemel et pakkuda WAV-i igale külastajale.

Telefonia puhul püsi rangelt G.711 juures sagedusel 8 000 Hz ja konfigureeri Voice Agent otse selles vormingus: igasugune reaalajas transkodeerimine lisab latentsust, mida sul endalgi napib.

Salvestamise puhul hoia arhiveerimine ja levitamine eraldi: põhiversioon jääb 24 000 Hz WAV-i, valmis ümber töötamiseks, ja sa levitad 128 kbps MP3-i, mis on palju kergem. Sama sisu, kaks faili, kaks eesmärki.

Halda mälu brauseris

Voogedastuse taasesituse ajal reserveerib iga URL.createObjectURL väljakutse mälu, mida brauser ise ei vabasta. Pika sessiooni jooksul kuhjuvad need URL-id kokku, kuni kaart muutub lootusetult aeglaseks. Tühista eelmine URL enne uue loomist:

let currentBlobUrl = null;

function playAudioChunk(base64Data) {
  // Vabasta eelmine URL
  if (currentBlobUrl) {
    URL.revokeObjectURL(currentBlobUrl);
  }

  const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
  const blob = new Blob([audioBuffer], { type: "audio/pcm" });
  currentBlobUrl = URL.createObjectURL(blob);
  // Mängi heli...
}

Tõlgenda TTS veakoode

KoodTähendusTegevus
200ÕnnestusHeli vastuse kehas
400Vigane päringKontrolli teksti, koodekit ja diskreetimissagedust
401VolitamataKontrolli API võtit
429Kvoot ületatudRakenda eksponentsiaalne tagasitõmbumine
500/503Serveri vigaProovi uuesti tagasitõmbumisega

400 vead parandatakse sinu koodis ja need ei kao iseenesest: need tulenevad kokkusobimatust parameetrist, tüüpiliselt diskreetimissagedusest, mida valitud koodek ei aktsepteeri. 429 ja 5xx vead nõuavad seevastu sama reaktsiooni: eksponentsiaalne tagasitõmbumine, kus viivitused kahekordistuvad iga katsega. Kohene korduskatsete tsükkel ainult halvendab olukorda, pommitades kvooti, mille just ületasid.

Peamised punktid

  • Saadaval on viis koodekit: MP3, WAV, PCM, mu-law ja A-law, igaüks sobib kindlaks kontekstiks
  • Vaikimisi diskreetimissagedus on 24 000 Hz; kasuta telefonia jaoks 8 000 Hz ja tootmise jaoks 44 100 Hz või kõrgemat
  • 128 kbps MP3 pakub räägitud hääle jaoks parimat kvaliteedi ja suuruse suhet
  • Halda brauseris Blob URL-e, et vältida mälulekkeid
  • Rakenda eksponentsiaalne tagasitõmbumine 429 (kiiruse piiramine) ja 5xx vigade käsitlemiseks

Kontrolli oma arusaamist

Voice Agent ja TTS: hääl algusest lõpuni, viies küsimuses.

1. Kuidas töötab Voice Agendi sessioon?

Vastus: Reaalajas WebSocketi kaudu. Sa konfigureerid sessiooni (hääl, isiksus, juhised), seejärel liiguvad sündmused mõlemas suunas: kasutaja heli ühes suunas, agendi kõnelevad vastused teises.

2. Mida võimaldab funktsioonide kutsumine hääles?

Vastus: Hääleagent kutsub vestluse käigus sinu tööriistu, et otsida kontot, teha broneering või võtta meetmeid. Hääl muutub täielikuks liideseks, mitte ainult dikteerimismasinaks.

3. Mida lisavad TTS väljendusrikkad sildid?

Vastus: Kontrolli kõne üle: intonatsioon, pausid, rõhuasetus. Süntees lakkab kõlamast monotoonsena ja järgib teksti intentsiooni igas toetatud keeles.

4. Miks on lühiajalised tokenid olulised?

Vastus: Need võimaldavad kliendil (brauser või mobiilirakendus) ühenduda hääleteenusega, paljastamata sinu peamist API võtit. Volitused on lühiajalised, piiratud häälesessiooniga ja aeguvad iseenesest, mis teeb reaalajas hääle turvaliseks.

5. Mida võimaldavad helivormingud kontrollida?

Vastus: Kompromissi kvaliteedi, latentsuse ja ribalaiuse vahel: valida vorming ja diskreetimissagedus, mis sobib kanaliga (veeb, SIP-telefonia, LiveKit). See on optimeerimine, mis viib sind finišijoonele.

Sessioon, tööriistad, väljendusrikkus, turvalisus, vormingud: selles kursuses toodud täielik hääleassistent ühendab kõik viis elementi ja sinu oma järgib sama plaani.