Ljudformat och optimering
På denna sida
Välj rätt format för varje sammanhang
Ljudformat är en av de inställningar du ofta skyndar igenom i början och ångrar senare. Ändå avgör det den upplevda kvaliteten, hur mycket bandbredd varje lyssning förbrukar och kompatibiliteten med din målplattform. En podcast som levereras som rå PCM blåser upp dina distributionskostnader, och en telefonström på 24 000 Hz transkodas på vägen, med all försämring det innebär. Denna lektion går igenom de tillgängliga formaten och hur du väljer mellan dem.
Codec som stöds
| Codec | MIME-typ | Komprimering | Huvudanvändning |
|---|---|---|---|
mp3 | audio/mpeg | Förlustgivande | Webb, mobil, poddar |
wav | audio/wav | Förlustfri | Efterproduktion, arkivering |
pcm | audio/pcm | Ingen (rå) | Ljudpipelines, Voice Agent |
mulaw | audio/basic | Logaritmisk | Telefoni (Amerika, Japan) |
alaw | audio/alaw | Logaritmisk | Telefoni (Europa, internationellt) |
MP3 täcker de flesta konsumentdistributioner. WAV används för ljud som fortfarande behöver redigeras eller måste hållas förlustfritt. PCM är utbytesformatet för realtidsflöden, inklusive Voice Agent, eftersom det inte kostar något att avkoda. Mu-law och A-law finns endast för telefoni och har ingen anledning att dyka upp någon annanstans.
Samplingsfrekvenser
Samplingsfrekvensen avgör hur finmaskigt signalen är: ju högre den är, desto bättre kommer höga frekvenser igenom, och desto större blir filen.
| Samplingsfrekvens | Kvalitet | Användning |
|---|---|---|
| 8 000 Hz | Telefoni | VoIP, SIP, G.711 |
| 16 000 Hz | Bredbandstal | Transkribering, taligenkänning |
| 22 050 Hz | FM-radio | Poddar, aviseringar |
| 24 000 Hz | TTS-standard (standard) | Allmän användning |
| 44 100 Hz | CD-ljud | Musikproduktion, ljudböcker |
| 48 000 Hz | Video/sändning | Efterproduktion, sändning |
I praktiken avgörs det av tre fall. Telefoni kräver 8 000 Hz, ingen diskussion: det är vad G.711 kräver. Webb och mobil klarar sig bra med standardvärdet 24 000 Hz, vilket är den bästa balansen mellan kvalitet och bandbredd för tal. Produktionsarbete, som en ljudbok eller ett videoljudspår, motiverar 44 100 eller 48 000 Hz, eftersom filen kommer att mixas, normaliseras och möjligen omkodas, och varje steg äter upp lite kvalitet.
MP3-bitrate
Med MP3-codecen styr bitraten komprimeringen och därmed den slutliga filstorleken.
| Bitrate | Kvalitet | Storlek för 1 min |
|---|---|---|
| 32 000 bps | Låg | ~240 KB |
| 64 000 bps | Medel | ~480 KB |
| 96 000 bps | God | ~720 KB |
| 128 000 bps (standard) | Mycket god | ~960 KB |
| 192 000 bps | Utmärkt | ~1,4 MB |
Tal upptar bara en liten del av spektrumet: 128 kbps återger det redan mycket väl, och att gå upp till 192 kbps gör din katalog hälften så tung igen utan att någon lyssnare hör skillnaden på talat innehåll. Spara den högsta nivån för premiumproduktioner eller musikaliska partier.
Konvertera ljud i Python
Voice Agent levererar rå, base64-kodad PCM, och två konverteringar dyker upp i nästan varje projekt. Den första omvandlar den strömmen till en numpy-array normaliserad mellan -1 och 1, det format de flesta signalbehandlingsbibliotek förväntar sig, och går den andra vägen för att skicka ljud tillbaka till API:et.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Den andra packar in PCM i en WAV-behållare. Utan den rubriken vet en ljudspelare varken hur många kanaler eller vilken samplingsfrekvens den ska anta, och den kommer antingen att vägra filen eller spela den i fel hastighet.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Optimera för destinationen
För en webbapp, håll dig till 128 kbps MP3 vid 24 000 Hz för TTS och 24 000 Hz PCM för Voice Agent, vilket bidirektionell strömning kräver. Konvertera dina statiska ljudresurser, som jinglar och förinspelade meddelanden, till MP3 en gång för alla istället för att servera WAV till varje besökare.
För telefoni, håll dig strikt till G.711 vid 8 000 Hz och konfigurera Voice Agent direkt i det formatet: all realtidstranskodering lägger till latens där du inte har någon att spara.
För lagring, håll arkivering och distribution åtskilda: mastern finns kvar som 24 000 Hz WAV, redo att bearbetas, och du distribuerar 128 kbps MP3, vilket är mycket lättare. Samma innehåll, två filer, två syften.
Hantera minne i webbläsaren
Under strömningsuppspelning reserverar varje anrop till URL.createObjectURL minne som webbläsaren inte frigör på egen hand. Under en lång session hopar sig dessa URL:er tills fliken blir seg som sirap. Återkalla den föregående innan du skapar en ny:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Frigör den föregående URL:en
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Spela upp ljudet...
}
Tolkning av TTS-felkoder
| Kod | Betydelse | Åtgärd |
|---|---|---|
| 200 | Lyckades | Ljud i svarsbodyn |
| 400 | Felaktig begäran | Kontrollera text, codec och samplingsfrekvens |
| 401 | Obehörig | Kontrollera API-nyckeln |
| 429 | Kvot överskriden | Implementera exponentiell backoff |
| 500/503 | Serverfel | Försök igen med backoff |
400-fel fixas i din kod och försvinner inte av sig själva: de kommer från en inkompatibel parameter, vanligtvis en samplingsfrekvens som den valda codecen inte accepterar. 429- och 5xx-fel kräver däremot samma svar: exponentiell backoff, med fördröjningar som fördubblas vid varje försök. En omedelbar försöksloop gör bara saken värre genom att hamra på den kvot du just överskridit.
Viktiga punkter
- Fem codec är tillgängliga: MP3, WAV, PCM, mu-law och A-law, var och en lämpad för ett specifikt sammanhang
- Standard samplingsfrekvens är 24 000 Hz; använd 8 000 Hz för telefoni och 44 100 Hz eller högre för produktion
- 128 kbps MP3 erbjuder den bästa kompromissen mellan kvalitet och storlek för talad röst
- Hantera Blob-URL:er i webbläsaren för att undvika minnesläckor
- Implementera exponentiell backoff för att hantera 429 (hastighetsbegränsning) och 5xx-fel
Testa din förståelse
Voice Agent och TTS: röst från början till slut, i fem frågor.
1. Hur fungerar en Voice Agent-session?
Svar: Över en realtids-WebSocket. Du konfigurerar sessionen (röst, personlighet, instruktioner), sedan flödar händelser båda hållen: användarens ljud i en riktning, agentens talade svar i den andra.
2. Vad möjliggör funktionsanrop för röst?
Svar: Röstagenten anropar dina verktyg mitt i konversationen för att slå upp ett konto, göra en bokning eller vidta åtgärder. Röst blir ett komplett gränssnitt, inte bara en dikteringsmaskin.
3. Vad lägger TTS-expressiva taggar till?
Svar: Kontroll över talet: intonation, pauser, betoning. Syntesen slutar låta monoton och följer textens avsikt, på alla språk som stöds.
4. Varför är kortlivade token viktiga?
Svar: De låter klienten (webbläsare eller mobilapp) ansluta till rösttjänsten utan att avslöja din huvud-API-nyckel. Uppgifterna är kortlivade, begränsade till en röstsession och löper ut av sig själva, vilket är vad som gör realtidsröst säker.
5. Vad låter ljudformat dig kontrollera?
Svar: Kompromissen mellan kvalitet, latens och bandbredd: att välja format och samplingsfrekvens som passar kanalen (webb, SIP-telefoni, LiveKit). Det är optimeringen som får dig i mål.
Session, verktyg, uttrycksfullhet, säkerhet, format: den kompletta röstassistenten i denna kurs för samman alla fem, och din kommer att följa samma plan.