SSE-Streaming
Auf dieser Seite
Antworten in Echtzeit empfangen
Standardmäßig wartet die API darauf, dass die vollständige Antwort generiert wurde, bevor sie diese zurückgibt. Beim Streaming erhalten Sie Token, sobald sie generiert werden. Diese Technik reduziert die vom Nutzer wahrgenommene Wartezeit und ermöglicht es Ihnen, Antworten schrittweise anzuzeigen, genau wie die Grok-Oberfläche.
Funktionsweise des Streamings
Streaming nutzt das Server-Sent Events (SSE)-Protokoll. Anstatt einer einzelnen HTTP-Antwort sendet der Server einen kontinuierlichen Strom von Ereignissen. Jedes Ereignis enthält ein Fragment der Antwort, und der Client setzt diese zusammen, um den vollständigen Text wiederherzustellen.
Der Parameter stream: true aktiviert diesen Modus für jeden Generierungsendpunkt.
Streaming in Python mit dem OpenAI-SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Erklären Sie die SOLID-Prinzipien in der Programmierung."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Zeilenumbruch am Ende
Funktionsweise des Codes
stream=Trueaktiviert das Streaming- Die Antwort ist ein Iterator von
chunk-Objekten (Fragmenten) - Jedes Fragment enthält ein
deltamit dem neuen Inhalt end=""verhindert Zeilenumbrüche zwischen den Fragmentenflush=Trueerzwingt die sofortige Anzeige
Streaming mit dem /v1/responses-Endpunkt
stream = client.responses.create(
model="grok-4.5",
input="Beschreiben Sie die Schritte zum Bereitstellen einer Webanwendung.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Der Endpunkt /v1/responses verwendet typisierte Ereignisse. Der Typ response.output_text.delta enthält die Textfragmente.
Streaming mit cURL
cURL unterstützt SSE-Streaming nativ. Fügen Sie "stream": true zum Anforderungskörper hinzu:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hallo"}],
"stream": true
}'
Die Option -N deaktiviert das Puffern von cURL, sodass Ereignisse angezeigt werden, sobald sie eintreffen.
Jede Zeile des SSE-Streams beginnt mit data: gefolgt von einem JSON-Objekt. Das letzte Ereignis ist data: [DONE], das das Ende der Generierung signalisiert.
Wann Streaming verwendet wird
Die Entscheidung kommt auf eine einzige Frage hinaus: Beobachtet eine Person das Eintreffen der Antwort? Wenn ja (ein Chatbot, ein Assistent, ein Schreibwerkzeug), ist Streaming fast zwingend erforderlich: Nutzer sehen den Text Wort für Wort erscheinen, anstatt auf einen eingefrorenen Bildschirm zu starren. Bei einer langen Antwort macht der Unterschied zwischen „erstes Wort nach 300 ms” und „vollständiger Text nach 8 Sekunden” den gesamten wahrgenommenen Erlebniswert aus.
Wenn niemand zuschaut, bringt Streaming nichts und kompliziert den Code. Ein Batch-Job, der eine Datenbank füllt, eine automatisierte Pipeline, die die vollständige Antwort vor dem Handeln parsen muss, oder ein Aufruf, der nur wenige Wörter zurückgibt: In all diesen Fällen bleibt der klassische Aufruf (eine Anfrage, eine vollständige Antwort) einfacher zu schreiben, zu testen und zu debuggen.
Fehlerbehandlung beim Streaming
Im Streaming-Modus können Fehler mitten im Stream auftreten. Ihr Code muss diese Unterbrechungen behandeln:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nFehler während des Streamings: {e}")
Kernaussagen
- Fügen Sie
stream=Truehinzu, um Token zu erhalten, sobald sie generiert werden - Das verwendete Protokoll ist SSE (Server-Sent Events)
- Iterieren Sie in Python über die Fragmente und drucken Sie
delta.contentaus - Verwenden Sie bei cURL
-N, um das Puffern zu deaktivieren - Reservieren Sie Streaming für Fälle, in denen eine schrittweise Anzeige Mehrwert bietet