Audio-Formate und Optimierung
Auf dieser Seite
Das richtige Format für jeden Kontext wählen
Das Audio-Format ist eine Einstellung, die man am Anfang oft zu schnell durchläuft und später bereut. Dennoch bestimmt es die wahrgenommene Qualität, die Bandbreite, die jeder Abhörvorgang verbraucht, und die Kompatibilität mit der Zielplattform. Ein Podcast, der als rohes PCM geliefert wird, treibt Ihre Verteilungskosten in die Höhe, und ein Telefon-Stream bei 24.000 Hz wird unterwegs transkodiert, mit allen damit verbundenen Qualitätsverlusten. In dieser Lektion werden die verfügbaren Formate und die Entscheidungsfindung zwischen ihnen überprüft.
Unterstützte Codecs
| Codec | MIME-Typ | Komprimierung | Hauptanwendung |
|---|---|---|---|
mp3 | audio/mpeg | Verlustbehaftet | Web, Mobilgeräte, Podcasts |
wav | audio/wav | Verlustfrei | Nachbearbeitung, Archivierung |
pcm | audio/pcm | Keine (roh) | Audio-Pipelines, Voice Agent |
mulaw | audio/basic | Logarithmisch | Telephonie (Amerika, Japan) |
alaw | audio/alaw | Logarithmisch | Telephonie (Europa, international) |
MP3 deckt die meisten Verbraucher-Verteilungen ab. WAV ist für Audio vorgesehen, das noch bearbeitet werden muss oder verlustfrei erhalten bleiben soll. PCM ist das Austauschformat für Echtzeit-Pipelines, einschließlich des Voice Agents, da es nichts kostet, es zu dekodieren. Mu-law und A-law existieren ausschließlich für die Telephonie und haben keinen Grund, an anderer Stelle aufzutauchen.
Abtastfrequenzen
Die Abtastfrequenz legt fest, wie fein das Signal aufgelöst ist: Je höher sie ist, desto besser kommen hohe Frequenzen durch, und desto größer ist die Datei.
| Abtastfrequenz | Qualität | Anwendung |
|---|---|---|
| 8.000 Hz | Telephonie | VoIP, SIP, G.711 |
| 16.000 Hz | Breitbandige Sprache | Transkription, Spracherkennung |
| 22.050 Hz | FM-Radio | Podcasts, Benachrichtigungen |
| 24.000 Hz | TTS-Standard (Standardwert) | Allgemeine Nutzung |
| 44.100 Hz | CD-Audio | Musikproduktion, Hörbücher |
| 48.000 Hz | Video/Übertragung | Nachbearbeitung, Rundfunk |
In der Praxis entscheiden drei Fälle. Die Telephonie erfordert 8.000 Hz, ohne Diskussion: Das ist, was G.711 verlangt. Web und Mobilgeräte kommen mit dem Standardwert von 24.000 Hz gut zurecht, dem besten Kompromiss zwischen Qualität und Bandbreite für Sprache. Produktionsarbeiten, wie ein Hörbuch oder ein Videosoundtrack, rechtfertigen 44.100 oder 48.000 Hz, da die Datei gemischt, normalisiert und möglicherweise neu kodiert wird, und jeder Schritt etwas Qualität frisst.
MP3-Bitraten
Mit dem MP3-Codec legt die Bitrate die Komprimierung und damit die finale Dateigröße fest.
| Bitrate | Qualität | Größe für 1 Minute |
|---|---|---|
| 32.000 bps | Niedrig | ~240 KB |
| 64.000 bps | Mittel | ~480 KB |
| 96.000 bps | Gut | ~720 KB |
| 128.000 bps (Standardwert) | Sehr gut | ~960 KB |
| 192.000 bps | Ausgezeichnet | ~1,4 MB |
Sprache belegt nur einen kleinen Teil des Spektrums: 128 kbps reproduziert sie bereits sehr gut, und der Aufstieg auf 192 kbps macht Ihren Katalog ohne hörbaren Unterschied für gesprochene Inhalte um die Hälfte schwerer. Bewahren Sie diese Top-Schicht für Premium-Produktionen oder musikalische Passagen auf.
Audio in Python konvertieren
Der Voice Agent liefert rohes, base64-kodiertes PCM, und zwei Konversionen tauchen in fast jedem Projekt auf. Die erste wandelt diesen Stream in ein numpy-Array um, das zwischen -1 und 1 normalisiert ist, das Format, das die meisten Signalverarbeitungs-Bibliotheken erwarten, und geht den anderen Weg, um Audio zurück an die API zu senden.
import base64
import numpy as np
def base64_to_audio(base64_audio: str) -> np.ndarray:
audio_bytes = base64.b64decode(base64_audio)
audio_int16 = np.frombuffer(audio_bytes, dtype=np.int16)
return audio_int16.astype(np.float32) / 32768.0
def audio_to_base64(audio_data: np.ndarray) -> str:
audio_int16 = (audio_data * 32767).astype(np.int16)
return base64.b64encode(audio_int16.tobytes()).decode("utf-8")
Die zweite verpackt PCM in einen WAV-Container. Ohne diesen Header weiß ein Audioplayer weder, wie viele Kanäle vorhanden sind, noch welche Abtastfrequenz er annehmen soll, und er wird die Datei entweder ablehnen oder mit der falschen Geschwindigkeit abspielen.
import wave
def pcm_to_wav(pcm_data: bytes, sample_rate: int = 24000) -> bytes:
import io
buffer = io.BytesIO()
with wave.open(buffer, "wb") as wf:
wf.setnchannels(1)
wf.setsampwidth(2) # 16-Bit
wf.setframerate(sample_rate)
wf.writeframes(pcm_data)
return buffer.getvalue()
Für das Ziel optimieren
Für eine Web-App bleiben Sie bei 128 kbps MP3 bei 24.000 Hz für TTS und bei 24.000 Hz PCM für den Voice Agent, der bidirektionales Streaming erfordert. Konvertieren Sie Ihre statischen Audio-Assets, wie Jingles und vorab aufgezeichnete Nachrichten, einmal und für immer in MP3, anstatt jedem Besucher WAV zu liefern.
Für die Telephonie bleiben Sie strikt bei G.711 bei 8.000 Hz und konfigurieren Sie den Voice Agent direkt in diesem Format: Jedes Echtzeit-Transkodieren fügt Latenz hinzu, wo Sie keine Zeit zu verlieren haben.
Für die Speicherung halten Sie Archivierung und Verteilung getrennt: Das Master bleibt in 24.000 Hz WAV, bereit zur Neuverarbeitung, und Sie verteilen 128 kbps MP3, das viel leichter ist. Gleicher Inhalt, zwei Dateien, zwei Zwecke.
Speicher im Browser verwalten
Während des Streaming-Abspiels reserviert jeder URL.createObjectURL-Aufruf Speicher, den der Browser nicht von selbst freigibt. Über eine lange Sitzung stapeln sich diese URLs, bis der Tab bis zum Erliegen kommt. Widerrufen Sie die vorherige, bevor Sie eine neue erstellen:
let currentBlobUrl = null;
function playAudioChunk(base64Data) {
// Freigeben des vorherigen URL
if (currentBlobUrl) {
URL.revokeObjectURL(currentBlobUrl);
}
const audioBuffer = Uint8Array.from(atob(base64Data), c => c.charCodeAt(0));
const blob = new Blob([audioBuffer], { type: "audio/pcm" });
currentBlobUrl = URL.createObjectURL(blob);
// Audio abspielen...
}
TTS-Fehlercodes interpretieren
| Code | Bedeutung | Aktion |
|---|---|---|
| 200 | Erfolg | Audio im Antwortkörper |
| 400 | Fehlerhafte Anfrage | Text, Codec und Abtastfrequenz überprüfen |
| 401 | Nicht autorisiert | API-Schlüssel überprüfen |
| 429 | Kontingent überschritten | Exponentielles Backoff implementieren |
| 500/503 | Serverfehler | Mit Backoff erneut versuchen |
400-Fehler werden in Ihrem Code behoben und verschwinden nicht von selbst: Sie stammen von einem inkompatiblen Parameter, typischerweise einer Abtastfrequenz, die der gewählte Codec nicht akzeptiert. 429- und 5xx-Fehler hingegen erfordern die gleiche Reaktion: exponentielles Backoff mit Verzögerungen, die bei jedem Versuch verdoppelt werden. Ein sofortiger Wiederholungsversuchs-Loop macht die Dinge nur schlimmer, indem er das Kontingent, das Sie gerade überschritten haben, weiter belastet.
Kernaussagen
- Es stehen fünf Codecs zur Verfügung: MP3, WAV, PCM, Mu-law und A-law, jeweils für einen spezifischen Kontext geeignet.
- Die Standard-Abtastfrequenz beträgt 24.000 Hz; verwenden Sie 8.000 Hz für die Telephonie und 44.100 Hz oder höher für die Produktion.
- 128 kbps MP3 bietet das beste Verhältnis von Qualität zu Dateigröße für gesprochene Sprache.
- Verwalten Sie Blob-URLs im Browser, um Speicherlecks zu vermeiden.
- Implementieren Sie exponentielles Backoff, um 429 (Ratenbegrenzung) und 5xx-Fehler zu handhaben.
Überprüfen Sie Ihr Verständnis
Voice Agent und TTS: Stimme von Ende zu Ende, in fünf Fragen.
1. Wie funktioniert eine Voice-Agent-Sitzung?
Antwort: Über ein Echtzeit-WebSocket. Sie konfigurieren die Sitzung (Stimme, Persönlichkeit, Anweisungen), und dann fließen Ereignisse in beide Richtungen: das Audio des Nutzers in eine Richtung, die gesprochene Antworten des Agents in die andere.
2. Was ermöglicht function calling in der Stimme?
Antwort: Der Voice-Agent ruft Ihre Tools mitten im Gespräch auf, um ein Konto abzufragen, eine Buchung vorzunehmen oder eine Aktion durchzuführen. Die Stimme wird zu einer vollständigen Schnittstelle, nicht nur zu einer Diktiermaschine.
3. Was fügen TTS-ausdrucksstarke Tags hinzu?
Antwort: Kontrolle über die Sprechweise: Intonation, Pausen, Betonung. Die Synthese hört nicht mehr monoton und folgt der Absicht des Textes in jeder unterstützten Sprache.
4. Warum sind ephemer Tokens wichtig?
Antwort: Sie ermöglichen es dem Client (Browser oder Mobile-App), sich mit dem Voice-Dienst zu verbinden, ohne Ihren Haupt-API-Schlüssel preiszugeben. Die Credentials sind kurzlebig, auf eine Voice-Sitzung beschränkt und laufen von selbst ab, was die Echtzeit-Stimme sicher macht.
5. Wofür lassen Audio-Formate Sie sich entscheiden?
Antwort: Das Verhältnis zwischen Qualität, Latenz und Bandbreite: Wählen Sie das Format und die Abtastfrequenz, die zum Kanal passen (Web, SIP-Telephonie, LiveKit). Es ist die Optimierung, die Sie über die Ziellinie bringt.
Sitzung, Tools, Ausdrucksstärke, Sicherheit, Formate: Der vollständige Voice-Assistent in diesem Kurs bringt alle fünf zusammen, und Ihr wird demselben Plan folgen.