Audio-Formate: PCM und G.711
Auf dieser Seite
Aktualisiert am 3. November 2026, basierend auf der xAI-Seite Speech to Speech: Die API akzeptiert einen vierten Codec,
audio/opus(rohe Opus-Pakete, 24 kHz Mono), sowie einen zweiten Transportmodus,binary, der Audio als binäre WebSocket-Rahmen statt als Base64-Code innerhalb von JSON überträgt. Quelle: Speech to Speech, Audio und Audio-Transport.
Unterstützte Audio-Formate
Die Voice-Agent-API unterstützt vier Audio-Formate für Eingabe und Ausgabe: PCM, G.711 μ-law, G.711 A-law und Opus. Ihre Wahl hängt vom Anwendungsfall ab: eine Webanwendung, Telekommunikation oder professionelle Audioverarbeitung.
| Format | Kodierung | Abtastraten | Typischer Einsatz |
|---|---|---|---|
| audio/pcm | Linear16, Little-Endian | 8000–48000 Hz | Webanwendungen, Audioverarbeitung |
| audio/pcmu | G.711 μ-law | Nur 8000 Hz | Nordamerikanische Telekommunikation |
| audio/pcma | G.711 A-law | Nur 8000 Hz | Europäische / internationale Telekommunikation |
| audio/opus | Opus (rohe Pakete) | 24000 Hz Mono | Mobilgeräte, geringer Bandbreitenbedarf |
PCM (Pulse Code Modulation)
PCM ist das Standard- und vielseitigste Format. Es kodiert Audio als unkomprimierte 16-Bit-Vorzeichen-gesetzte Ganzzahlen (Linear16) in Little-Endian-Reihenfolge.
Verfügbare Abtastraten
Die API unterstützt sieben Abtastraten für PCM:
- 8000 Hz: Minimale Telefonqualität
- 16000 Hz: Ein guter Kompromiss für Sprache (Wideband)
- 22050 Hz: Zwischenqualität
- 24000 Hz: Das Standardformat, empfohlen für die meisten Fälle
- 32000 Hz: Höhere Qualität
- 44100 Hz: CD-Qualität
- 48000 Hz: Studioqualität
Für eine Standard-Sprachanwendung bietet 24000 Hz das beste Gleichgewicht zwischen Qualität und Bandbreite. Höhere Werte bringen für Sprache keine wahrnehmbare Verbesserung.
Konfiguration in session.update
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcm", "rate": 24000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
G.711: μ-law und A-law
Die G.711-Codecs sind die Standards der traditionellen Telekommunikation. Sie verwenden logarithmische Kompression, um Audiodaten zu verkleinern, während die Sprachqualität innerhalb des Telefonbandes (300–3400 Hz) erhalten bleibt.
μ-law (audio/pcmu)
Wird hauptsächlich in Nordamerika und Japan verwendet; es ist der native Codec der nordamerikanischen Telefonnetze. Wenn Sie die Voice-Agent-API mit einem US-basierten SIP-System integrieren, ist audio/pcmu die natürliche Wahl.
A-law (audio/pcma)
Wird in Europa und dem Rest der Welt verwendet. Für eine Integration mit einem europäischen Telekommunikationsanbieter wählen Sie audio/pcma.
G.711-Beschränkungen
Beide G.711-Codecs sind auf 8000 Hz beschränkt, was eine reduzierte Audio-Bandbreite bedeutet. Die Sprachqualität ist für die Telekommunikation ausreichend, liegt aber unter der von 24000 Hz PCM. Verwenden Sie sie nur, wenn Ihre Telefoninfrastruktur dies erfordert.
Unterschiedliche Eingabe- und Ausgabeformate
Die API ermöglicht die Konfiguration unterschiedlicher Formate für Eingabe und Ausgabe, was in hybriden Architekturen nützlich ist:
{
"type": "session.update",
"session": {
"audio": {
"input": {
"format": {"type": "audio/pcmu", "rate": 8000}
},
"output": {
"format": {"type": "audio/pcm", "rate": 24000}
}
}
}
}
In diesem Beispiel erhalten Sie G.711 μ-law von einem Telefonsystem und senden hochwertige PCM-Daten zurück an ein Broadcast-System.
Opus
Der vierte Codec, audio/opus, überträgt rohe Opus-Pakete bei 24.000 Hz Mono, ein Paket pro Nutzlast, ohne Container-Header. Es handelt sich um einen komprimierten Codec: Er reduziert den Bandbreitenbedarf im Vergleich zu PCM erheblich, was bei mobilen Verbindungen wichtig ist, sofern Ihr Client Opus kodieren und dekodieren kann.
Transport: JSON oder binär
Der Codec (format) bestimmt, wie das Audio kodiert wird; der Transport (transport) bestimmt, wie diese Bytes über das WebSocket übertragen werden. Beim Standardmodus ("json") wird Audio innerhalb von input_audio_buffer.append und response.output_audio.delta als Base64-Code codiert. Bei "binary" werden die Daten als binäre WebSocket-Rahmen gesendet, ohne Base64 und ohne Header. Lebenszyklus-Ereignisse (response.created, response.done, Transkripte) bleiben in JSON.
await ws.send(json.dumps({
"type": "session.update",
"session": {
"audio": {
"input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
"output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
}
},
}))
await ws.send(pcm16_bytes) # binärer Rahmen: rohe 16-Bit PCM, kein Base64
async for message in ws:
if isinstance(message, bytes):
player.write(message) # Audio des Assistenten
else:
event = json.loads(message) # JSON-Ereignis
Die Dokumentation legt zwei Regeln fest. Bei der Eingabe akzeptiert der Server nach der Konfiguration des Formats beide Pfade gleichzeitig: input.transport gibt lediglich den bevorzugten Pfad an. Bei der Ausgabe erreicht Audio ausschließlich über output.transport, und eine Änderung während der Sitzung gilt erst ab der nächsten Antwort; eine einzelne Äußerung mischt niemals JSON und binär. Binär vermeidet den Base64-Overhead, der den Datenvolumen um etwa ein Drittel erhöht.
Kernaussagen
- Das Standardformat ist PCM bei 24000 Hz, ideal für Webanwendungen
- G.711 μ-law (pcmu) ist der nordamerikanische Telekommunikationsstandard
- G.711 A-law (pcma) ist der europäische Telekommunikationsstandard
- G.711-Codecs sind auf 8000 Hz beschränkt
- Sie können unterschiedliche Formate für Eingabe und Ausgabe verwenden
audio/opus(24 kHz Mono) reduziert den Bandbreitenbedarf;transport: "binary"sendet Audio als binäre Rahmen, ohne Base64- Für Sprache bietet 24000 Hz das beste Gleichgewicht zwischen Qualität und Bandbreite