Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Äänimuodot ja optimointi

Oppitunti 14 / 14 Päivitetty 29. heinäkuuta 2026 Keskitasoinen
Tällä sivulla
  1. Valitse oikea formaatti kuhunkin tilanteeseen
  2. Tuetut koodekit
  3. Näytteenottotaajuudet
  4. MP3-bittinopeudet
  5. Muunna ääntä Pythonilla
  6. Optimoi kohteen mukaan
  7. Hallitse muistia selaimessa
  8. Tulkitse TTS-virhekoodit
  9. Keskeiset asiat
  10. Testaa ymmärryksesi

Valitse oikea formaatti kuhunkin tilanteeseen

Ääniformaatti on asetus, jonka usein ohitat kiireessä aloitusvaiheessa, mutta kadut myöhemmin. Se määrittää kuitenkin koetun laadun, jokaisen kuuntelukerran kuluttaman kaistanleveyden ja yhteensopivuuden kohdealustasi kanssa. Raakana PCM-muodossa toimitettu podcast räjäyttää jakelukustannuksesi, ja 24 000 Hz:n puhelinstreami transkoodataan matkan varrella, mikä heikentää laatua. Tämä oppitunti käy läpi käytettävissä olevat formaatit ja niiden valintaperusteet.

Tuetut koodekit

KoodekkiMIME-tyyppiPakkausPääasiallinen käyttötarkoitus
mp3audio/mpegHäviöllinenWeb, mobiili, podcastit
wavaudio/wavHäviötönJälkituotanto, arkistointi
pcmaudio/pcmEi (raaka)Ääniputket, Voice Agent
mulawaudio/basicLogaritminenPuhelinliikenne (Amerikat, Japani)
alawaudio/alawLogaritminenPuhelinliikenne (Eurooppa, kansainvälinen)

MP3 kattaa useimmat kuluttajakäyttöön tarkoitetut jakelut. WAV on tarkoitettu äänelle, jota pitää vielä muokata tai säilyttää häviöttömänä. PCM on reaaliaikaisten putkien, mukaan lukien Voice Agent, vaihtoformaatti, koska sen purkaminen ei vaadi resursseja. Mu-law ja A-law on olemassa vain puhelinliikennettä varten, eikä niillä ole syytä esiintyä missään muualla.

Näytteenottotaajuudet

Näytteenottotaajuus määrittää signaalin tarkkuuden: mitä korkeampi se on, sitä paremmin korkeat taajuudet toistuvat, ja sitä suurempi tiedostokoko on.

NäytteenottotaajuusLaatuKäyttö
8 000 HzPuhelinlaatuVoIP, SIP, G.711
16 000 HzLaajakaistainen puheTranskriptio, puheentunnistus
22 050 HzFM-radioPodcastit, ilmoitukset
24 000 HzTTS-standardi (oletus)Yleiskäyttö
44 100 HzCD-laatuMusiikkituotanto, äänikirjat
48 000 HzVideo/yleisradioJälkituotanto, yleisradiointi

Käytännössä kolme tapausta ratkaisee asian. Puhelinliikenne vaatii 8 000 Hz:n taajuutta, siitä ei tingitä: niin G.711 vaatii. Web ja mobiili toimivat hyvin oletusarvoisella 24 000 Hz:n taajuudella, joka tarjoaa parhaan tasapainon laadun ja kaistanleveyden välillä puheelle. Tuotantotyö, kuten äänikirja tai videon ääniraita, perustelee 44 100 tai 48 000 Hz:n käytön, koska tiedosto miksataan, normalisoidaan ja mahdollisesti koodataan uudelleen, ja jokainen vaihe syö hieman laatua.

MP3-bittinopeudet

MP3-koodekilla bittinopeus määrittää pakkauksen ja siten lopullisen tiedostokoon.

BittinopeusLaatuKoko 1 minuutilta
32 000 bpsMatala~240 KB
64 000 bpsKeskitaso~480 KB
96 000 bpsHyvä~720 KB
128 000 bps (oletus)Erittäin hyvä~960 KB
192 000 bpsErinomainen~1,4 MB

Puhe vie vain pienen osan taajuusspektristä: 128 kbps toistaa sen jo erittäin hyvin, ja nostaminen 192 kbps:iin tekee katalogistasi puolitoista kertaa raskaamman ilman, että kuulija huomaa eroa puhutussa sisällössä. Säästä huippulaatu premium-tuotannoille tai musiikkiosuuksille.

Muunna ääntä Pythonilla

Voice Agent tuottaa raakaa, base64-koodattua PCM-dataa, ja kaksi muunnosta toistuvat lähes jokaisessa projektissa. Ensimmäinen muuntaa tämän virran numpy-taulukoksi, joka on normalisoitu välille -1–1; tämä on formaatti, jota useimmat signaalinkäsittelykirjastot odottavat. Toinen tekee päinvastoin lähettääkseen äänen takaisin APIin.

import base64
import numpy as np

def base64_to_audio(base64_audio: str) -> np.ndarray:
    audio_bytes = base64.b64decode(base64_audio)
    audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
    return audio_int16.astype(np.float32) / 32768.0

def audio_to_base64(audio_data: np.ndarray) -> str:
    audio_int16 = (audio_data * 32767).astype(np.int16)
    return base64.b64encode(audio_int16.tobytes()).decode("utf-8")

Toinen muunnos käärii PCM-datan WAV-säilöön. Ilman tätä otsikkoa äänisoitin ei tiedä, kuinka monta kanavaa tai mitä näytteenottotaajuutta olettaa, ja se joko kieltäytyy tiedostosta tai toistaa sen väärällä nopeudella.

import wave

def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
    import io
    buffer = io.BytesIO()
    with wave.open(buffer, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)  # 16-bit
        wf.setframerate(sample_rate)
        wf.writeframes(pcm_data)
    return buffer.getvalue()

Optimoi kohteen mukaan

Web-sovelluksessa pysy 128 kbps:n MP3:ssa 24 000 Hz:n taajuudella TTS:lle ja 24 000 Hz:n PCM:lle Voice Agentissa, mikä edellyttää kaksisuuntaista suoratoistoa. Muunna staattiset ääniresurssisi, kuten tunnusmusiikit ja esinauhoitetut viestit, MP3-muotoon kerran ja lopullisesti sen sijaan, että tarjoaisit WAV-tiedostoja jokaiselle vierailijalle.

Puhelinliikenteessä pysy tiukasti G.711:ssä 8 000 Hz:n taajuudella ja määritä Voice Agent suoraan tähän formaattiin: mikä tahansa reaaliaikainen transkoodaus lisää viivettä, johon sinulla ei ole varaa.

Tallennuksessa pidä arkistointi ja jakelu erillään: mestaritiedosto pysyy 24 000 Hz:n WAV-muodossa valmiina muokattavaksi, ja jaat 128 kbps:n MP3-tiedostoja, jotka ovat paljon kevyempiä. Sama sisältö, kaksi tiedostoa, kaksi käyttötarkoitusta.

Hallitse muistia selaimessa

Suoratoistotoiston aikana jokainen URL.createObjectURL-kutsu varaa muistia, jota selain ei vapauta itsestään. Pitkän istunnon aikana nämä URL-osoitteet kasaantuvat, kunnes välilehti hidastuu ryömimiseen. Peruuta edellinen osoite ennen uuden luomista:

let currentBlobUrl = null;

function playAudioChunk(base64Data) {
  // Vapauta edellinen URL
  if (currentBlobUrl) {
    URL.revokeObjectURL(currentBlobUrl);
  }

  const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
  const blob = new Blob([audioBuffer], { type: "audio/pcm" });
  currentBlobUrl = URL.createObjectURL(blob);
  // Toista ääni...
}

Tulkitse TTS-virhekoodit

KoodiMerkitysToimenpide
200OnnistuiÄäni vastauksen rungossa
400Virheellinen pyyntöTarkista teksti, koodekki ja näytteenottotaajuus
401Valtuutus epäonnistuiTarkista API-avain
429Kiintiö ylitettyToteuta eksponentiaalinen viive (backoff)
500/503PalvelinvirheYritä uudelleen viiveellä

400-virheet korjataan koodissasi eivätkä ne katoa itsestään: ne johtuvat yhteensopimattomasta parametrista, tyypillisesti näytteenottotaajuudesta, jota valittu koodekki ei hyväksy. 429- ja 5xx-virheet sen sijaan vaativat samanlaisen vasteen: eksponentiaalinen viive, jossa viiveet kaksinkertaistuvat jokaisella yrityksellä. Välitön uudelleenyrityssilmukka vain pahentaa tilannetta hakkaamalla kiintiötä, jonka juuri ylitit.

Keskeiset asiat

  • Viisi koodekkia on saatavilla: MP3, WAV, PCM, mu-law ja A-law, joista kukin sopii tiettyyn kontekstiin
  • Oletusnäytteenottotaajuus on 24 000 Hz; käytä 8 000 Hz puhelinkäyttöön ja 44 100 Hz tai korkeampaa tuotantoon
  • 128 kbps MP3 tarjoaa parhaan laadun ja koon suhteen puhutulle äänelle
  • Hallitse Blob-URL-osoitteita selaimessa muistivuotojen välttämiseksi
  • Toteuta eksponentiaalinen viive käsitelläksesi 429 (nopeusrajoitus) ja 5xx -virheitä

Testaa ymmärryksesi

Voice Agent ja TTS: ääni päästä päähän viidellä kysymyksellä.

1. Miten Voice Agent -istunto toimii?

Vastaus: Reaaliaikaisen WebSocket-yhteyden yli. Määrität istunnon (ääni, persoonallisuus, ohjeet), minkä jälkeen tapahtumat virtaavat molempiin suuntiin: käyttäjän ääni yhteen suuntaan ja agentin puhevastaukset toiseen.

2. Mitä funktion kutsuminen mahdollistaa äänessä?

Vastaus: Ääniagentti kutsuu työkalujasi keskellä keskustelua hakeakseen tilitietoja, tehdäkseen varauksen tai toteuttaakseen toiminnon. Äänestä tulee täydellinen käyttöliittymä, ei pelkkä sanelukone.

3. Mitä TTS:n ilmaisutagit lisäävät?

Vastaus: Hallinnan puheeseen: intonaatio, tauot, painotus. Synteesi lakkaa kuulostamasta monotoniselta ja seuraa tekstin intentiota kaikilla tuetuilla kielillä.

4. Miksi kertakäyttöiset tokenit ovat tärkeitä?

Vastaus: Ne mahdollistavat asiakkaan (selain tai mobiilisovellus) yhteyden muodostamisen äänipalveluun paljastamatta pääasiallista API-avaintasi. Kirjautumistiedot ovat lyhytikäisiä, rajattuja ääni-istuntoon ja vanhentuvat itsestään, mikä tekee reaaliaikaisesta äänestä turvallista.

5. Mitä ääniformaatit antavat sinun hallita?

Vastaus: Kompromissin laadun, viiveen ja kaistanleveyden välillä: valitset formaatin ja näytteenottotaajuuden, jotka sopivat kanavaan (web, SIP-puhelinliikenne, LiveKit). Se on optimointi, joka vie sinut maaliin.

Istunto, työkalut, ilmaisuvoima, turvallisuus, formaatit: tämän kurssin kattava ääniavustaja yhdistää nämä kaikki viisi, ja sinunkin ratkaisusi seuraa samaa suunnitelmaa.