Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Audioformaten en optimalisatie

Les 14 van 14 Bijgewerkt op 29 juli 2026 Gemiddeld
Op deze pagina
  1. Kies het juiste formaat voor elke context
  2. Ondersteunde codecs
  3. Sample rates
  4. MP3-bitsnelheden
  5. Audio converteren in Python
  6. Optimaliseer voor de bestemming
  7. Geheugen beheren in de browser
  8. TTS-foutcodes interpreteren
  9. Belangrijkste punten
  10. Controleer uw begrip

Kies het juiste formaat voor elke context

Audioformaat is een van die instellingen die u aan het begin haastig overslaat en later betreurt. Toch bepaalt het de waargenomen kwaliteit, de bandbreedte die elk beluistering verbruikt, en de compatibiliteit met uw doelplatform. Een podcast die als ruwe PCM wordt geleverd, blaast uw distributiekosten op, en een telefoonstream op 24.000 Hz wordt onderweg getranscodeerd, met alle degradatie van dien. Deze les bespreekt de beschikbare formaten en hoe u tussen hen kunt kiezen.

Ondersteunde codecs

CodecMIME-typeCompressieHoofdgebruik
mp3audio/mpegLossyWeb, mobiel, podcasts
wavaudio/wavLosslessPost-productie, archivering
pcmaudio/pcmGeen (raw)Audiopipelines, Voice Agent
mulawaudio/basicLogaritmischTelefonie (Amerika, Japan)
alawaudio/alawLogaritmischTelefonie (Europa, internationaal)

MP3 dekt de meeste consumentendistributie. WAV is voor audio die nog bewerkt moet worden of verliesvrij bewaard moet blijven. PCM is het uitwisselingsformaat van real-time pipelines, inclusief de Voice Agent, omdat decoderen niets kost. Mu-law en A-law bestaan alleen voor telefonie en hebben geen reden om ergens anders op te duiken.

Sample rates

De sample rate bepaalt hoe fijnmazig het signaal is: hoe hoger deze is, hoe beter hoge frequenties doorkomen, en hoe groter het bestand.

Sample rateKwaliteitGebruik
8.000 HzTelefonieVoIP, SIP, G.711
16.000 HzWideband-spraakTranscriptie, spraakherkenning
22.050 HzFM-radioPodcasts, meldingen
24.000 HzTTS-standaard (default)Algemeen gebruik
44.100 HzCD-audioMuziekproductie, audioboeken
48.000 HzVideo/omroepPost-productie, uitzendingen

In de praktijk beslissen drie gevallen het. Telefonie vereist 8.000 Hz, geen discussie: dat is wat G.711 eist. Web en mobiel doen het prima met de standaard 24.000 Hz, de beste balans tussen kwaliteit en bandbreedte voor spraak. Productiewerk, zoals een audioboek of een video-soundtrack, rechtvaardigt 44.100 of 48.000 Hz, omdat het bestand gemixt, genormaliseerd en mogelijk opnieuw gecodeerd wordt, en elke stap vreet een beetje kwaliteit weg.

MP3-bitsnelheden

Bij de MP3-codec bepaalt de bitsnelheid de compressie en dus de uiteindelijke bestandsgrootte.

BitsnelheidKwaliteitGrootte voor 1 min
32.000 bpsLaag~240 KB
64.000 bpsGemiddeld~480 KB
96.000 bpsGoed~720 KB
128.000 bps (default)Zeer goed~960 KB
192.000 bpsUitstekend~1,4 MB

Spraak bezet slechts een klein deel van het spectrum: 128 kbps reproduceert dit al zeer goed, en opschalen naar 192 kbps maakt uw catalogus half zo zwaar zonder dat een luisteraar het verschil hoort bij gesproken content. Bewaar die topklasse voor premium-producties of muzikale passages.

Audio converteren in Python

De Voice Agent levert ruwe, base64-gecodeerde PCM, en twee conversies komen in bijna elk project voor. De eerste zet die stream om in een numpy-array genormaliseerd tussen -1 en 1, het formaat dat de meeste signaalverwerkingsbibliotheken verwachten, en gaat de andere kant op om audio terug naar de API te sturen.

import base64
import numpy as np

def base64_to_audio(base64_audio: str) -> np.ndarray:
    audio_bytes = base64.b64decode(base64_audio)
    audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
    return audio_int16.astype(np.float32) / 32768.0

def audio_to_base64(audio_data: np.ndarray) -> str:
    audio_int16 = (audio_data * 32767).astype(np.int16)
    return base64.b64encode(audio_int16.tobytes()).decode("utf-8")

De tweede verpakt PCM in een WAV-container. Zonder die header weet een audiospeler noch hoeveel kanalen, noch welke sample rate hij moet aannemen, en zal hij het bestand要么 weigeren of op de verkeerde snelheid afspelen.

import wave

def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
    import io
    buffer = io.BytesIO()
    with wave.open(buffer, "wb") as wf:
        wf.setnchannels(1)
        wf.setsampwidth(2)  # 16-bit
        wf.setframerate(sample_rate)
        wf.writeframes(pcm_data)
    return buffer.getvalue()

Optimaliseer voor de bestemming

Voor een webapp blijft u bij 128 kbps MP3 op 24.000 Hz voor TTS en 24.000 Hz PCM voor de Voice Agent, wat bidirectionele streaming vereist. Converteer uw statische audio-assets, zoals jingles en vooraf opgenomen berichten, eenmalig naar MP3 in plaats van WAV aan elke bezoeker te serveren.

Blijf voor telefonie strikt bij G.711 op 8.000 Hz en configureer de Voice Agent direct in dat formaat: elke real-time transcoding voegt latentie toe waar u geen ruimte voor heeft.

Houd voor opslag archivering en distributie gescheiden: de master blijft in 24.000 Hz WAV, klaar om opnieuw bewerkt te worden, en u distribueert 128 kbps MP3, wat veel lichter is. Dezelfde inhoud, twee bestanden, twee doeleinden.

Geheugen beheren in de browser

Tijdens streaming-playback reserveert elke URL.createObjectURL-aanroep geheugen dat de browser niet zelf vrijgeeft. Tijdens een lange sessie stapelen deze URL’s zich op totdat het tabblad vertraagt. Trek de vorige in voordat u een nieuwe maakt:

let currentBlobUrl = null;

function playAudioChunk(base64Data) {
  // Vrijgeven van de vorige URL
  if (currentBlobUrl) {
    URL.revokeObjectURL(currentBlobUrl);
  }

  const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
  const blob = new Blob([audioBuffer], { type: "audio/pcm" });
  currentBlobUrl = URL.createObjectURL(blob);
  // Speel de audio af...
}

TTS-foutcodes interpreteren

CodeBetekenisActie
200SuccesAudio in de response body
400Slecht verzoekControleer de tekst, codec en sample rate
401Niet geautoriseerdControleer de API-sleutel
429Quota overschredenImplementeer exponentiële backoff
500/503ServerfoutOpnieuw proberen met backoff

400-fouten worden in uw code opgelost en verdwijnen niet vanzelf: ze komen door een incompatibele parameter, typisch een sample rate die de gekozen codec niet accepteert. 429- en 5xx-fouten vereisen daarentegen dezelfde reactie: exponentiële backoff, met vertragingen die bij elke poging verdubbelen. Een directe retry-lus maakt het alleen maar erger door het quota dat u zojuist hebt overschreden te hameren.

Belangrijkste punten

  • Vijf codecs zijn beschikbaar: MP3, WAV, PCM, mu-law en A-law, elk geschikt voor een specifieke context
  • De standaard sample rate is 24.000 Hz; gebruik 8.000 Hz voor telefonie en 44.100 Hz of hoger voor productie
  • 128 kbps MP3 biedt de beste kwaliteit-grootte-afweging voor gesproken stem
  • Beheer Blob-URL’s in de browser om geheugenlekken te voorkomen
  • Implementeer exponentiële backoff om 429 (rate limiting) en 5xx-fouten af te handelen

Controleer uw begrip

Voice Agent en TTS: stem van begin tot eind, in vijf vragen.

1. Hoe werkt een Voice Agent-sessie?

Antwoord: Via een real-time WebSocket. U configureert de sessie (stem, persoonlijkheid, instructies), vervolgens stromen evenementen beide kanten op: de audio van de gebruiker in de ene richting, de gesproken antwoorden van de agent in de andere.

2. Wat maakt function calling mogelijk in spraak?

Antwoord: De spraakagent roept uw tools midden in een gesprek aan om een account op te zoeken, een boeking te maken of actie te ondernemen. Spraak wordt een complete interface, niet alleen een dicteermachine.

3. Wat voegen expressieve TTS-tags toe?

Antwoord: Controle over spraak: intonatie, pauzes, nadruk. Synthese klinkt niet langer monotoon en volgt de intentie van de tekst, in elke ondersteunde taal.

4. Waarom zijn ephemeral tokens belangrijk?

Antwoord: Ze laten de client (browser of mobiele app) verbinden met de spraakdienst zonder uw hoofd-API-sleutel bloot te leggen. De referenties zijn kortstondig, beperkt tot een spraaksessie en verlopen vanzelf, wat real-time spraak veilig maakt.

5. Wat laten audioformaten u controleren?

Antwoord: De afweging tussen kwaliteit, latentie en bandbreedte: het kiezen van het formaat en de sample rate die passen bij het kanaal (web, SIP-telefonie, LiveKit). Het is de optimalisatie die u over de finish helpt.

Sessie, tools, expressiviteit, beveiliging, formaten: de complete spraakassistent in deze cursus brengt alle vijf samen, en die van u zal hetzelfde plan volgen.