Audioformater og optimering
På denne side
Vælg det rigtige format til hver kontekst
Audioformat er en af de indstillinger, du ofte skynder dig igennem i starten og fortryder senere. Alligevel afgør det den oplevede kvalitet, den båndbredde hver afspilning bruger, og kompatibiliteten med din målplatform. En podcast leveret som rå PCM får dine distributionsomkostninger til at eksplodere, og en telefonstream ved 24.000 Hz bliver transkodet undervejs med al den forringelse, det medfører. Denne lektion gennemgår de tilgængelige formater, og hvordan du vælger mellem dem.
Understøttede codecs
| Codec | MIME-type | Komprimering | Hovedanvendelse |
|---|---|---|---|
mp3 | audio/mpeg | Lossy | Web, mobil, podcasts |
wav | audio/wav | Lossless | Efterproduktion, arkivering |
pcm | audio/pcm | Ingen (rå) | Audio-pipelines, Voice Agent |
mulaw | audio/basic | Logaritmisk | Telefoni (Amerika, Japan) |
alaw | audio/alaw | Logaritmisk | Telefoni (Europa, internationalt) |
MP3 dækker det meste af distributionen til forbrugere. WAV er til lyd, der stadig skal redigeres, eller som skal bevares uden tab. PCM er udvekslingsformatet for realtids-pipelines, herunder Voice Agent, fordi det ikke koster noget at dekode. Mu-law og A-law findes kun til telefoni og har ingen grund til at dukke op andre steder.
Sample rates
Sample rate bestemmer, hvor fint signalet er opløst: jo højere den er, desto bedre kommer høje frekvenser igennem, og desto større bliver filen.
| Sample rate | Kvalitet | Anvendelse |
|---|---|---|
| 8.000 Hz | Telefoni | VoIP, SIP, G.711 |
| 16.000 Hz | Bredbåndstale | Transskription, talegenkendelse |
| 22.050 Hz | FM-radio | Podcasts, notifikationer |
| 24.000 Hz | TTS-standard (standard) | Generel brug |
| 44.100 Hz | CD-lyd | Musikproduktion, lydbøger |
| 48.000 Hz | Video/udsendelse | Efterproduktion, broadcasting |
I praksis afgøres det af tre tilfælde. Telefoni kræver 8.000 Hz, punktum: det er hvad G.711 kræver. Web og mobil klarer sig fint med standarden på 24.000 Hz, som er den bedste balance mellem kvalitet og båndbredde til tale. Produktionsarbejde, såsom en lydbog eller et videosoundtrack, berettiger 44.100 eller 48.000 Hz, fordi filen skal mikses, normaliseres og muligvis genindkodes, og hvert trin æder lidt af kvaliteten.
MP3-bitrates
Med MP3-codec’en sætter bitraten komprimeringen og dermed den endelige filstørrelse.
| Bitrate | Kvalitet | Størrelse for 1 min |
|---|---|---|
| 32.000 bps | Lav | ~240 KB |
| 64.000 bps | Mellem | ~480 KB |
| 96.000 bps | God | ~720 KB |
| 128.000 bps (standard) | Meget god | ~960 KB |
| 192.000 bps | Fremragende | ~1,4 MB |
Tale optager kun en lille del af spektret: 128 kbps gengiver det allerede meget godt, og at gå op til 192 kbps gør dit katalog halvanden gang så tungt uden at nogen lytter kan høre forskellen på talt indhold. Gem det øverste niveau til premium-produktioner eller musikalske passager.
Konverter audio i Python
Voice Agent leverer rå, base64-kodet PCM, og to konverteringer går igen i næsten ethvert projekt. Den første omdanner den stream til et numpy-array normaliseret mellem -1 og 1, hvilket er det format, de fleste signalbehandlingsbiblioteker forventer, og går den anden vej for at sende audio tilbage til API’et.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Den anden pakker PCM ind i en WAV-container. Uden den header ved en afspiller hverken, hvor mange kanaler der er, eller hvilken sample rate den skal antage, og den vil enten nægte filen eller afspille den med forkert hastighed.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimer til destinationen
Til en webapp skal du holde dig til 128 kbps MP3 ved 24.000 Hz til TTS og 24.000 Hz PCM til Voice Agent, hvilket kræves af bidirektionel streaming. Konverter dine statiske audio-aktiver, såsom jingler og forindspillede beskeder, til MP3 én gang for alle i stedet for at servere WAV til hver besøgende.
Til telefoni skal du strengt holde dig til G.711 ved 8.000 Hz og konfigurere Voice Agent direkte i det format: enhver realtids-transkodning tilføjer latency, hvor du ikke har råd til at miste tid.
Til lagring skal du holde arkivering og distribution adskilt: masteren forbliver i 24.000 Hz WAV, klar til bearbejdning, og du distribuerer 128 kbps MP3, som er meget lettere. Samme indhold, to filer, to formål.
Håndtér hukommelse i browseren
Under streaming-afspilning reserverer hvert URL.createObjectURL-kald hukommelse, som browseren ikke frigør af sig selv. Over en lang session hober disse URL’er sig op, indtil fanen bliver langsom. Tilbagekald den forrige, før du opretter en ny:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Frigør den forrige URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Afspil lyden...
}
Fortolk TTS-fejlkoder
| Kode | Betydning | Handling |
|---|---|---|
| 200 | Succes | Audio i svar-body’en |
| 400 | Ugyldig anmodning | Tjek teksten, codec’en og sample rate |
| 401 | Ikke autoriseret | Tjek API-nøglen |
| 429 | Kvote overskredet | Implementer eksponentiel backoff |
| 500/503 | Serverfejl | Prøv igen med backoff |
400-fejl rettes i din kode og forsvinder ikke af sig selv: de skyldes en inkompatibel parameter, typisk en sample rate, som den valgte codec ikke accepterer. 429- og 5xx-fejl kræver derimod samme respons: eksponentiel backoff, hvor forsinkelserne fordobles ved hvert forsøg. En øjeblikkelig genforsøgsløkke gør kun tingene værre ved at hamre løs på den kvote, du lige har overskredet.
Vigtige pointer
- Fem codecs er tilgængelige: MP3, WAV, PCM, mu-law og A-law, hver egnet til en specifik kontekst
- Standard sample rate er 24.000 Hz; brug 8.000 Hz til telefoni og 44.100 Hz eller højere til produktion
- 128 kbps MP3 tilbyder det bedste kompromis mellem kvalitet og størrelse til talt stemme
- Håndtér Blob-URL’er i browseren for at undgå hukommelseslækager
- Implementer eksponentiel backoff for at håndtere 429 (rate limiting) og 5xx-fejl
Tjek din forståelse
Voice Agent og TTS: stemme fra ende til ende, i fem spørgsmål.
1. Hvordan fungerer en Voice Agent-session?
Svar: Over en realtids-WebSocket. Du konfigurerer sessionen (stemme, personlighed, instrukser), og derefter flyder begivenheder begge veje: brugerens audio i den ene retning, agentens talte svar i den anden.
2. Hvad muliggør function calling i stemme?
Svar: Stemmeagenten kalder dine værktøjer midt i samtalen for at slå en konto op, lave en booking eller udføre en handling. Stemme bliver en komplet grænseflade, ikke bare en dikteringsmaskine.
3. Hvad tilføjer TTS-ekspressive tags?
Svar: Kontrol over talen: intonation, pauser, betoning. Syntesen holder op med at lyde monoton og følger tekstens hensigt på alle understøttede sprog.
4. Hvorfor er ephemeral tokens vigtige?
Svar: De lader klienten (browser eller mobilapp) forbinde til stemmetjenesten uden at afsløre din hoved-API-nøgle. Legitimationsoplysningerne er kortlivede, begrænset til en stemmesession og udløber af sig selv, hvilket er det, der gør realtidsstemme sikker.
5. Hvad giver audioformater dig kontrol over?
Svar: Kompromiset mellem kvalitet, latency og båndbredde: valget af format og sample rate, der passer til kanalen (web, SIP-telefoni, LiveKit). Det er den optimering, der får dig i mål.
Session, værktøjer, udtryksfuldhed, sikkerhed, formater: den komplette stemmeassistent i dette kursus bringer alle fem sammen, og din vil følge samme plan.