Hangformátumok és optimalizálás
Ezen az oldalon
Válaszd ki a megfelelő formátumot minden helyzethez
A hangformátum az a beállítás, amit az elején gyorsan átfutsz, majd később megbánod. Pedig ez határozza meg az érzékelt minőséget, a sávszélességet, amit minden egyes lejátszás el fogyaszt, valamint a célplatformoddal való kompatibilitást. Ha nyers PCM formátumban kézbesítesz egy podcastot, az egekbe szökíti a terjesztési költségeidet; ha pedig 24 000 Hz-en streamelsz telefonhíváshoz, azt útközben átkódolják, ami mindenféle minőségromlással jár. Ez a lecke áttekinti a rendelkezésre álló formátumokat és segít dönteni közöttük.
Támogatott kodekek
| Kodek | MIME típus | Tömörítés | Fő felhasználás |
|---|---|---|---|
mp3 | audio/mpeg | Veszteséges | Web, mobil, podcastok |
wav | audio/wav | Veszteségmentes | Utómunka, archiválás |
pcm | audio/pcm | Nincs (nyers) | Hangfolyamatok, Voice Agent |
mulaw | audio/basic | Logaritmikus | Távközlés (Amerika, Japán) |
alaw | audio/alaw | Logaritmikus | Távközlés (Európa, nemzetközi) |
Az MP3 lefedi a fogyasztói terjesztés legtöbb esetét. A WAV olyan hanganyagokhoz való, amelyeket még szerkeszteni kell, vagy veszteségmentesen kell megőrizni. A PCM a valós idejű folyamatok – köztük a Voice Agent – csereformátuma, mivel dekódolása semmibe sem kerül. A Mu-law és az A-law kizárólag távközlési célokra létezik, és semmi okuk nincs máshol feltűnni.
Mintavételezési ráták
A mintavételezési ráta határozza meg a jel finomságát: minél magasabb, annál jobban szólalnak meg a magas frekvenciák, és annál nagyobb a fájlméret.
| Mintavételezési ráta | Minőség | Felhasználás |
|---|---|---|
| 8 000 Hz | Távközlés | VoIP, SIP, G.711 |
| 16 000 Hz | Szélessávú beszéd | Átirat készítése, beszédfelismerés |
| 22 050 Hz | FM rádió | Podcastok, értesítések |
| 24 000 Hz | TTS szabvány (alapértelmezett) | Általános használat |
| 44 100 Hz | CD hangminőség | Zenei produkció, hangoskönyvek |
| 48 000 Hz | Videó/műsorszórás | Utómunka, műsorszórás |
A gyakorlatban három eset dönti el a dolgot. A távközlés megköveteli a 8 000 Hz-et, itt nincs vita: ezt diktálja a G.711. A webes és mobilos alkalmazásoknak tökéletesen megfelel az alapértelmezett 24 000 Hz, ami a legjobb egyensúly a beszédhang minősége és a sávszélesség között. A produkciós munkák, mint például egy hangoskönyv vagy egy videó kísérőzenéje, indokolttá teszik a 44 100 vagy 48 000 Hz használatát, mert a fájlt keverni, normalizálni, esetleg újra kódolni fogják, és minden lépés kicsit ront a minőségen.
MP3 bitráták
MP3 kodek esetén a bitráta határozza meg a tömörítést, és ezáltal a végső fájlméretet.
| Bitráta | Minőség | Méret 1 percre |
|---|---|---|
| 32 000 bps | Alacsony | ~240 KB |
| 64 000 bps | Közepes | ~480 KB |
| 96 000 bps | Jó | ~720 KB |
| 128 000 bps (alapértelmezett) | Nagyon jó | ~960 KB |
| 192 000 bps | Kiváló | ~1,4 MB |
A beszéd csak a spektrum kis részét foglalja el: a 128 kbps már nagyon jól visszaadja, míg a 192 kbps-ra való váltás másfélszeresére növeli a katalógusod méretét anélkül, hogy a hallgató bármi különbséget észrevenne a beszédtartalmakon. Ezt a csúcskategóriát hagyd meg prémium produkcióknak vagy zenei részleteknek.
Hang konvertálása Pythonban
A Voice Agent nyers, base64-kódolt PCM adatot szolgáltat, és szinte minden projektben két konverzióra van szükség. Az első ezeket az adatfolyamokat -1 és 1 között normalizált numpy tömbbé alakítja át – ez a formátum, amit a legtöbb jelfeldolgozó könyvtár elvár –, a második pedig fordítva működik, hogy visszaküldhesd a hangot az API-nak.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
A második művelet a PCM adatot WAV konténerbe csomagolja. Ennél a fejléc nélkül a lejátszóprogram nem tudja, hány csatornát vagy milyen mintavételezési rátát feltételezzen, így vagy visszautasítja a fájlt, vagy rossz sebességgel játssza le.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimalizálás a célállomás szerint
Webes alkalmazás esetén maradj a 128 kbps-os MP3-nál 24 000 Hz-en a TTS-hez, és a 24 000 Hz-es PCM-nél a Voice Agenthez, amihez kétirányú streamelés szükséges. A statikus hanganyagokat, mint például a szignálokat és az előre felvett üzeneteket, egyszer és mindenkorra konvertáld MP3-ba, ahelyett, hogy minden látogatónak WAV fájlt szolgálnál ki.
Távközlés esetén szigorúan maradj a G.711-nél 8 000 Hz-en, és közvetlenül ebben a formátumban konfiguráld a Voice Agentet: minden valós idejű átkódolás késleltetést ad hozzá, amire nincs szükséged.
Tárolás esetén tartsd külön az archiválást és a terjesztést: a mesterfájl marad 24 000 Hz-es WAV formátumban, készen az újra szerkesztésre, míg terjesztésre a sokkal könnyebb 128 kbps-os MP3-ot használod. Ugyanaz a tartalom, két fájl, két cél.
Memóriakezelés a böngészőben
Streamelt lejátszás közben minden URL.createObjectURL hívás olyan memóriát foglal le, amit a böngésző nem szabadít fel automatikusan. Hosszú munkamenet során ezek az URL-ek felhalmozódnak, amíg a lap lelassul. Mielőtt újat hoznál létre, érvénytelenítsd az előzőt:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Előző URL felszabadítása
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Hang lejátszása...
}
TTS hibakódok értelmezése
| Kód | Jelentés | Teendő |
|---|---|---|
| 200 | Sikeres | Hang a válasz törzsében |
| 400 | Rossz kérés | Ellenőrizd a szöveget, a kodeket és a mintavételezési rátát |
| 401 | Jogosulatlan | Ellenőrizd az API kulcsot |
| 429 | Kvóta túllépve | Implementálj exponenciális visszalépést (backoff) |
| 500/503 | Szerverhiba | Próbáld újra visszalépéssel |
A 400-as hibákat a kódodban kell javítani, nem tűnnek el maguktól: ezek összeférhetetlen paraméterből adódnak, tipikusan olyan mintavételezési rátából, amit a választott kodek nem fogad el. Ezzel szemben a 429-es és az 5xx-es hibák ugyanazt a választ igénylik: exponenciális visszalépést, ahol a késleltetés minden próbálkozásnál megduplázódik. Az azonnali újrapróbálkozó ciklus csak ront a helyzeten, mert tovább terheli a kvótát, amit éppen túlléptél.
Főbb megállapítások
- Öt kodek áll rendelkezésre: MP3, WAV, PCM, mu-law és A-law, mindegyik egy adott kontextushoz illik
- Az alapértelmezett mintavételezési ráta 24 000 Hz; távközléshez használj 8 000 Hz-et, produkciós munkákhoz pedig 44 100 Hz-et vagy magasabbat
- A 128 kbps-os MP3 kínálja a legjobb minőség-méret arányt beszédhang esetén
- Kezeld a Blob URL-eket a böngészőben a memóriaszivárgás elkerülése érdekében
- Implementálj exponenciális visszalépést a 429-es (sávszélesség-korlátozás) és az 5xx-es hibák kezelésére
Ellenőrizd a tudásod
Voice Agent és TTS: hang az elejétől a végéig, öt kérdésben.
1. Hogyan működik egy Voice Agent munkamenet?
Válasz: Valós idejű WebSocket kapcsolaton keresztül. Konfigurálod a munkamenetet (hang, személyiség, utasítások), majd az események mindkét irányba áramlanak: a felhasználó hangja az egyik irányba, az ügynök beszélt válaszai a másikba.
2. Mit tesz lehetővé a függvényhívás (function calling) hangalapú környezetben?
Válasz: Lehetővé teszi, hogy a hangügynök beszélgetés közben meghívja az eszközeidet egy fiók lekérdezésére, foglalás létrehozására vagy intézkedés végrehajtására. A hang teljes értékű felületté válik, nem csupán diktáló géppé.
3. Mit adnak hozzá a TTS kifejező címkék (expressive tags)?
Válasz: Irányítást a beszéd felett: hanglejtés, szünetek, hangsúlyozás. A szintézis abbahagyja a monoton hangzást, és követi a szöveg szándékát minden támogatott nyelven.
4. Miért fontosak az ephemeral tokenek?
Válasz: Lehetővé teszik, hogy a kliens (böngésző vagy mobilalkalmazás) csatlakozzon a hangszolgáltatáshoz anélkül, hogy felfedné a fő API kulcsodat. A hitelesítő adatok rövid életűek, egy hangmunkamenetre korlátozódnak, és maguktól lejárnak; ez teszi biztonságossá a valós idejű hangot.
5. Mit engednek szabályozni a hangformátumok?
Válasz: A minőség, a késleltetés és a sávszélesség közötti kompromisszumot: azt a formátumot és mintavételezési rátát választod ki, amely illeszkedik a csatornához (web, SIP távközlés, LiveKit). Ez az optimalizás visz át a célvonalon.
Munkamenet, eszközök, kifejezőkészség, biztonság, formátumok: ezen a tanfolyamon a teljes hangalapú asszisztens ezt az öt elemet egyesíti, és a tiéd is ezt a tervet fogja követni.