SSE-streaming
På denne side
Modtag svar i realtid
Som standard venter API’et, indtil hele svaret er genereret, før det returneres. Med streaming modtager du tokens, efterhånden som de genereres. Denne teknik reducerer den ventetid, brugeren oplever, og giver dig mulighed for at vise svar progressivt, præcis som Grok-grænsefladen gør det.
Hvordan streaming fungerer
Streaming bruger Server-Sent Events (SSE)-protokollen. I stedet for ét enkelt HTTP-svar sender serveren en kontinuerlig strøm af begivenheder. Hver begivenhed indeholder en brøkdel af svaret, og klienten samler dem for at genopbygge den komplette tekst.
Parameteren stream: true aktiverer denne tilstand for ethvert generations-endpoint.
Streaming i Python med OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Hvordan koden fungerer
stream=Trueaktiverer streaming- Svaret er en iterator af
chunk-objekter (fragmenter) - Hvert chunk indeholder en
deltamed det nye indhold end=""forhindrer linjeskift mellem fragmenterneflush=Truegennemtvinger øjeblikkelig visning
Streaming med /v1/responses-endpointet
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Endpointet /v1/responses bruger typede begivenheder. Typen response.output_text.delta indeholder tekstfragmenterne.
Streaming med cURL
cURL understøtter SSE-streaming nativt. Tilføj "stream": true til anmodningsbodyen:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Flaget -N deaktiverer cURL’s buffering, så begivenheder vises, så snart de ankommer.
Hver linje i SSE-strømmen starter med data: efterfulgt af et JSON-objekt. Den sidste begivenhed er data: [DONE], hvilket signalerer afslutningen på generationen.
Hvornår skal du bruge streaming?
Beslutningen afhænger af ét spørgsmål: Er der en person, der ser svaret blive til? Hvis ja (en chatbot, en assistent, et skriveværktøj), er streaming næsten obligatorisk: Brugere ser teksten dukke op ord for ord i stedet for at stirre på en frossen skærm. Ved lange svar gør forskellen mellem „første ord på 300 ms” og „hele teksten efter 8 sekunder” en kæmpe forskel for den oplevede brugeroplevelse.
Hvis ingen ser på, tilføjer streaming ingen værdi og komplicerer blot koden. Et batch-job, der fylder en database, en automatiseret pipeline, der skal parse hele svaret, før den handler, eller et kald, der kun returnerer få ord: I alle disse tilfælde er det klassiske kald (én anmodning, ét komplet svar) stadig enklere at skrive, teste og fejlfinde.
Fejlhåndtering ved streaming
I streaming-tilstand kan der opstå fejl midt i strømmen. Din kode skal kunne håndtere disse afbrydelser:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Vigtige pointer
- Tilføj
stream=Truefor at modtage tokens, efterhånden som de genereres - Protokollen, der bruges, er SSE (Server-Sent Events)
- I Python itererer du over chunks og udskriver
delta.content - Med cURL bruger du
-Ntil at deaktivere buffering - Gem streaming til tilfælde, hvor progressiv visning tilfører værdi