Äänimuodot ja optimointi
Tällä sivulla
Valitse oikea formaatti kuhunkin tilanteeseen
Ääniformaatti on asetus, jonka usein ohitat kiireessä aloitusvaiheessa, mutta kadut myöhemmin. Se määrittää kuitenkin koetun laadun, jokaisen kuuntelukerran kuluttaman kaistanleveyden ja yhteensopivuuden kohdealustasi kanssa. Raakana PCM-muodossa toimitettu podcast räjäyttää jakelukustannuksesi, ja 24 000 Hz:n puhelinstreami transkoodataan matkan varrella, mikä heikentää laatua. Tämä oppitunti käy läpi käytettävissä olevat formaatit ja niiden valintaperusteet.
Tuetut koodekit
| Koodekki | MIME-tyyppi | Pakkaus | Pääasiallinen käyttötarkoitus |
|---|---|---|---|
mp3 | audio/mpeg | Häviöllinen | Web, mobiili, podcastit |
wav | audio/wav | Häviötön | Jälkituotanto, arkistointi |
pcm | audio/pcm | Ei (raaka) | Ääniputket, Voice Agent |
mulaw | audio/basic | Logaritminen | Puhelinliikenne (Amerikat, Japani) |
alaw | audio/alaw | Logaritminen | Puhelinliikenne (Eurooppa, kansainvälinen) |
MP3 kattaa useimmat kuluttajakäyttöön tarkoitetut jakelut. WAV on tarkoitettu äänelle, jota pitää vielä muokata tai säilyttää häviöttömänä. PCM on reaaliaikaisten putkien, mukaan lukien Voice Agent, vaihtoformaatti, koska sen purkaminen ei vaadi resursseja. Mu-law ja A-law on olemassa vain puhelinliikennettä varten, eikä niillä ole syytä esiintyä missään muualla.
Näytteenottotaajuudet
Näytteenottotaajuus määrittää signaalin tarkkuuden: mitä korkeampi se on, sitä paremmin korkeat taajuudet toistuvat, ja sitä suurempi tiedostokoko on.
| Näytteenottotaajuus | Laatu | Käyttö |
|---|---|---|
| 8 000 Hz | Puhelinlaatu | VoIP, SIP, G.711 |
| 16 000 Hz | Laajakaistainen puhe | Transkriptio, puheentunnistus |
| 22 050 Hz | FM-radio | Podcastit, ilmoitukset |
| 24 000 Hz | TTS-standardi (oletus) | Yleiskäyttö |
| 44 100 Hz | CD-laatu | Musiikkituotanto, äänikirjat |
| 48 000 Hz | Video/yleisradio | Jälkituotanto, yleisradiointi |
Käytännössä kolme tapausta ratkaisee asian. Puhelinliikenne vaatii 8 000 Hz:n taajuutta, siitä ei tingitä: niin G.711 vaatii. Web ja mobiili toimivat hyvin oletusarvoisella 24 000 Hz:n taajuudella, joka tarjoaa parhaan tasapainon laadun ja kaistanleveyden välillä puheelle. Tuotantotyö, kuten äänikirja tai videon ääniraita, perustelee 44 100 tai 48 000 Hz:n käytön, koska tiedosto miksataan, normalisoidaan ja mahdollisesti koodataan uudelleen, ja jokainen vaihe syö hieman laatua.
MP3-bittinopeudet
MP3-koodekilla bittinopeus määrittää pakkauksen ja siten lopullisen tiedostokoon.
| Bittinopeus | Laatu | Koko 1 minuutilta |
|---|---|---|
| 32 000 bps | Matala | ~240 KB |
| 64 000 bps | Keskitaso | ~480 KB |
| 96 000 bps | Hyvä | ~720 KB |
| 128 000 bps (oletus) | Erittäin hyvä | ~960 KB |
| 192 000 bps | Erinomainen | ~1,4 MB |
Puhe vie vain pienen osan taajuusspektristä: 128 kbps toistaa sen jo erittäin hyvin, ja nostaminen 192 kbps:iin tekee katalogistasi puolitoista kertaa raskaamman ilman, että kuulija huomaa eroa puhutussa sisällössä. Säästä huippulaatu premium-tuotannoille tai musiikkiosuuksille.
Muunna ääntä Pythonilla
Voice Agent tuottaa raakaa, base64-koodattua PCM-dataa, ja kaksi muunnosta toistuvat lähes jokaisessa projektissa. Ensimmäinen muuntaa tämän virran numpy-taulukoksi, joka on normalisoitu välille -1–1; tämä on formaatti, jota useimmat signaalinkäsittelykirjastot odottavat. Toinen tekee päinvastoin lähettääkseen äänen takaisin APIin.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Toinen muunnos käärii PCM-datan WAV-säilöön. Ilman tätä otsikkoa äänisoitin ei tiedä, kuinka monta kanavaa tai mitä näytteenottotaajuutta olettaa, ja se joko kieltäytyy tiedostosta tai toistaa sen väärällä nopeudella.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimoi kohteen mukaan
Web-sovelluksessa pysy 128 kbps:n MP3:ssa 24 000 Hz:n taajuudella TTS:lle ja 24 000 Hz:n PCM:lle Voice Agentissa, mikä edellyttää kaksisuuntaista suoratoistoa. Muunna staattiset ääniresurssisi, kuten tunnusmusiikit ja esinauhoitetut viestit, MP3-muotoon kerran ja lopullisesti sen sijaan, että tarjoaisit WAV-tiedostoja jokaiselle vierailijalle.
Puhelinliikenteessä pysy tiukasti G.711:ssä 8 000 Hz:n taajuudella ja määritä Voice Agent suoraan tähän formaattiin: mikä tahansa reaaliaikainen transkoodaus lisää viivettä, johon sinulla ei ole varaa.
Tallennuksessa pidä arkistointi ja jakelu erillään: mestaritiedosto pysyy 24 000 Hz:n WAV-muodossa valmiina muokattavaksi, ja jaat 128 kbps:n MP3-tiedostoja, jotka ovat paljon kevyempiä. Sama sisältö, kaksi tiedostoa, kaksi käyttötarkoitusta.
Hallitse muistia selaimessa
Suoratoistotoiston aikana jokainen URL.createObjectURL-kutsu varaa muistia, jota selain ei vapauta itsestään. Pitkän istunnon aikana nämä URL-osoitteet kasaantuvat, kunnes välilehti hidastuu ryömimiseen. Peruuta edellinen osoite ennen uuden luomista:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Vapauta edellinen URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Toista ääni...
}
Tulkitse TTS-virhekoodit
| Koodi | Merkitys | Toimenpide |
|---|---|---|
| 200 | Onnistui | Ääni vastauksen rungossa |
| 400 | Virheellinen pyyntö | Tarkista teksti, koodekki ja näytteenottotaajuus |
| 401 | Valtuutus epäonnistui | Tarkista API-avain |
| 429 | Kiintiö ylitetty | Toteuta eksponentiaalinen viive (backoff) |
| 500/503 | Palvelinvirhe | Yritä uudelleen viiveellä |
400-virheet korjataan koodissasi eivätkä ne katoa itsestään: ne johtuvat yhteensopimattomasta parametrista, tyypillisesti näytteenottotaajuudesta, jota valittu koodekki ei hyväksy. 429- ja 5xx-virheet sen sijaan vaativat samanlaisen vasteen: eksponentiaalinen viive, jossa viiveet kaksinkertaistuvat jokaisella yrityksellä. Välitön uudelleenyrityssilmukka vain pahentaa tilannetta hakkaamalla kiintiötä, jonka juuri ylitit.
Keskeiset asiat
- Viisi koodekkia on saatavilla: MP3, WAV, PCM, mu-law ja A-law, joista kukin sopii tiettyyn kontekstiin
- Oletusnäytteenottotaajuus on 24 000 Hz; käytä 8 000 Hz puhelinkäyttöön ja 44 100 Hz tai korkeampaa tuotantoon
- 128 kbps MP3 tarjoaa parhaan laadun ja koon suhteen puhutulle äänelle
- Hallitse Blob-URL-osoitteita selaimessa muistivuotojen välttämiseksi
- Toteuta eksponentiaalinen viive käsitelläksesi 429 (nopeusrajoitus) ja 5xx -virheitä
Testaa ymmärryksesi
Voice Agent ja TTS: ääni päästä päähän viidellä kysymyksellä.
1. Miten Voice Agent -istunto toimii?
Vastaus: Reaaliaikaisen WebSocket-yhteyden yli. Määrität istunnon (ääni, persoonallisuus, ohjeet), minkä jälkeen tapahtumat virtaavat molempiin suuntiin: käyttäjän ääni yhteen suuntaan ja agentin puhevastaukset toiseen.
2. Mitä funktion kutsuminen mahdollistaa äänessä?
Vastaus: Ääniagentti kutsuu työkalujasi keskellä keskustelua hakeakseen tilitietoja, tehdäkseen varauksen tai toteuttaakseen toiminnon. Äänestä tulee täydellinen käyttöliittymä, ei pelkkä sanelukone.
3. Mitä TTS:n ilmaisutagit lisäävät?
Vastaus: Hallinnan puheeseen: intonaatio, tauot, painotus. Synteesi lakkaa kuulostamasta monotoniselta ja seuraa tekstin intentiota kaikilla tuetuilla kielillä.
4. Miksi kertakäyttöiset tokenit ovat tärkeitä?
Vastaus: Ne mahdollistavat asiakkaan (selain tai mobiilisovellus) yhteyden muodostamisen äänipalveluun paljastamatta pääasiallista API-avaintasi. Kirjautumistiedot ovat lyhytikäisiä, rajattuja ääni-istuntoon ja vanhentuvat itsestään, mikä tekee reaaliaikaisesta äänestä turvallista.
5. Mitä ääniformaatit antavat sinun hallita?
Vastaus: Kompromissin laadun, viiveen ja kaistanleveyden välillä: valitset formaatin ja näytteenottotaajuuden, jotka sopivat kanavaan (web, SIP-puhelinliikenne, LiveKit). Se on optimointi, joka vie sinut maaliin.
Istunto, työkalut, ilmaisuvoima, turvallisuus, formaatit: tämän kurssin kattava ääniavustaja yhdistää nämä kaikki viisi, ja sinunkin ratkaisusi seuraa samaa suunnitelmaa.