Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Audio-Formate: PCM und G.711

Lektion 5 von 16 Aktualisiert am 3. November 2026 Entwickler
Auf dieser Seite
  1. Unterstützte Audio-Formate
  2. PCM (Pulse Code Modulation)
  3. G.711: μ-law und A-law
  4. Unterschiedliche Eingabe- und Ausgabeformate
  5. Opus
  6. Transport: JSON oder binär
  7. Kernaussagen

Aktualisiert am 3. November 2026, basierend auf der xAI-Seite Speech to Speech: Die API akzeptiert einen vierten Codec, audio/opus (rohe Opus-Pakete, 24 kHz Mono), sowie einen zweiten Transportmodus, binary, der Audio als binäre WebSocket-Rahmen statt als Base64-Code innerhalb von JSON überträgt. Quelle: Speech to Speech, Audio und Audio-Transport.

Unterstützte Audio-Formate

Die Voice-Agent-API unterstützt vier Audio-Formate für Eingabe und Ausgabe: PCM, G.711 μ-law, G.711 A-law und Opus. Ihre Wahl hängt vom Anwendungsfall ab: eine Webanwendung, Telekommunikation oder professionelle Audioverarbeitung.

Format Kodierung Abtastraten Typischer Einsatz
audio/pcm Linear16, Little-Endian 8000–48000 Hz Webanwendungen, Audioverarbeitung
audio/pcmu G.711 μ-law Nur 8000 Hz Nordamerikanische Telekommunikation
audio/pcma G.711 A-law Nur 8000 Hz Europäische / internationale Telekommunikation
audio/opus Opus (rohe Pakete) 24000 Hz Mono Mobilgeräte, geringer Bandbreitenbedarf

PCM (Pulse Code Modulation)

PCM ist das Standard- und vielseitigste Format. Es kodiert Audio als unkomprimierte 16-Bit-Vorzeichen-gesetzte Ganzzahlen (Linear16) in Little-Endian-Reihenfolge.

Verfügbare Abtastraten

Die API unterstützt sieben Abtastraten für PCM:

  • 8000 Hz: Minimale Telefonqualität
  • 16000 Hz: Ein guter Kompromiss für Sprache (Wideband)
  • 22050 Hz: Zwischenqualität
  • 24000 Hz: Das Standardformat, empfohlen für die meisten Fälle
  • 32000 Hz: Höhere Qualität
  • 44100 Hz: CD-Qualität
  • 48000 Hz: Studioqualität

Für eine Standard-Sprachanwendung bietet 24000 Hz das beste Gleichgewicht zwischen Qualität und Bandbreite. Höhere Werte bringen für Sprache keine wahrnehmbare Verbesserung.

Konfiguration in session.update

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcm", "rate": 24000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

G.711: μ-law und A-law

Die G.711-Codecs sind die Standards der traditionellen Telekommunikation. Sie verwenden logarithmische Kompression, um Audiodaten zu verkleinern, während die Sprachqualität innerhalb des Telefonbandes (300–3400 Hz) erhalten bleibt.

μ-law (audio/pcmu)

Wird hauptsächlich in Nordamerika und Japan verwendet; es ist der native Codec der nordamerikanischen Telefonnetze. Wenn Sie die Voice-Agent-API mit einem US-basierten SIP-System integrieren, ist audio/pcmu die natürliche Wahl.

A-law (audio/pcma)

Wird in Europa und dem Rest der Welt verwendet. Für eine Integration mit einem europäischen Telekommunikationsanbieter wählen Sie audio/pcma.

G.711-Beschränkungen

Beide G.711-Codecs sind auf 8000 Hz beschränkt, was eine reduzierte Audio-Bandbreite bedeutet. Die Sprachqualität ist für die Telekommunikation ausreichend, liegt aber unter der von 24000 Hz PCM. Verwenden Sie sie nur, wenn Ihre Telefoninfrastruktur dies erfordert.

Unterschiedliche Eingabe- und Ausgabeformate

Die API ermöglicht die Konfiguration unterschiedlicher Formate für Eingabe und Ausgabe, was in hybriden Architekturen nützlich ist:

{
  "type": "session.update",
  "session": {
    "audio": {
      "input": {
        "format": {"type": "audio/pcmu", "rate": 8000}
      },
      "output": {
        "format": {"type": "audio/pcm", "rate": 24000}
      }
    }
  }
}

In diesem Beispiel erhalten Sie G.711 μ-law von einem Telefonsystem und senden hochwertige PCM-Daten zurück an ein Broadcast-System.

Opus

Der vierte Codec, audio/opus, überträgt rohe Opus-Pakete bei 24.000 Hz Mono, ein Paket pro Nutzlast, ohne Container-Header. Es handelt sich um einen komprimierten Codec: Er reduziert den Bandbreitenbedarf im Vergleich zu PCM erheblich, was bei mobilen Verbindungen wichtig ist, sofern Ihr Client Opus kodieren und dekodieren kann.

Transport: JSON oder binär

Der Codec (format) bestimmt, wie das Audio kodiert wird; der Transport (transport) bestimmt, wie diese Bytes über das WebSocket übertragen werden. Beim Standardmodus ("json") wird Audio innerhalb von input_audio_buffer.append und response.output_audio.delta als Base64-Code codiert. Bei "binary" werden die Daten als binäre WebSocket-Rahmen gesendet, ohne Base64 und ohne Header. Lebenszyklus-Ereignisse (response.created, response.done, Transkripte) bleiben in JSON.

await ws.send(json.dumps({
    "type": "session.update",
    "session": {
        "audio": {
            "input": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
            "output": {"format": {"type": "audio/pcm", "rate": 24000}, "transport": "binary"},
        }
    },
}))

await ws.send(pcm16_bytes)  # binärer Rahmen: rohe 16-Bit PCM, kein Base64

async for message in ws:
    if isinstance(message, bytes):
        player.write(message)           # Audio des Assistenten
    else:
        event = json.loads(message)     # JSON-Ereignis

Die Dokumentation legt zwei Regeln fest. Bei der Eingabe akzeptiert der Server nach der Konfiguration des Formats beide Pfade gleichzeitig: input.transport gibt lediglich den bevorzugten Pfad an. Bei der Ausgabe erreicht Audio ausschließlich über output.transport, und eine Änderung während der Sitzung gilt erst ab der nächsten Antwort; eine einzelne Äußerung mischt niemals JSON und binär. Binär vermeidet den Base64-Overhead, der den Datenvolumen um etwa ein Drittel erhöht.

Kernaussagen

  • Das Standardformat ist PCM bei 24000 Hz, ideal für Webanwendungen
  • G.711 μ-law (pcmu) ist der nordamerikanische Telekommunikationsstandard
  • G.711 A-law (pcma) ist der europäische Telekommunikationsstandard
  • G.711-Codecs sind auf 8000 Hz beschränkt
  • Sie können unterschiedliche Formate für Eingabe und Ausgabe verwenden
  • audio/opus (24 kHz Mono) reduziert den Bandbreitenbedarf; transport: "binary" sendet Audio als binäre Rahmen, ohne Base64
  • Für Sprache bietet 24000 Hz das beste Gleichgewicht zwischen Qualität und Bandbreite