Strömmande SSE
På denna sida
Ta emot svar i realtid
Som standard väntar API:t tills hela svaret har genererats innan det returneras. Med strömning får du token i takt med att de genereras. Denna teknik minskar den väntetid användaren upplever och låter dig visa svar progressivt, precis som Grok-gränssnittet gör.
Hur strömning fungerar
Strömning använder protokollet Server-Sent Events (SSE). Istället för ett enda HTTP-svar skickar servern en kontinuerlig ström av händelser. Varje händelse innehåller en fragmentdel av svaret, och klienten sätter ihop dem för att återskapa hela texten.
Parametern stream: true aktiverar detta läge för vilken generationsendpunkt som helst.
Strömning i Python med OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Hur koden fungerar
stream=Trueaktiverar strömning- Svaret är en iterator av
chunk-objekt (fragment) - Varje chunk innehåller ett
deltamed det nya innehållet end=""förhindrar radbrytningar mellan fragmentflush=Truetvingar fram omedelbar visning
Strömning med /v1/responses-endpunkten
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Endpunkten /v1/responses använder typade händelser. Typen response.output_text.delta innehåller textfragmenten.
Strömning med cURL
cURL stöder SSE-strömning inbyggt. Lägg till "stream": true i begärandekroppen:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Flaggan -N stänger av cURL:s buffring så att händelser visas så snart de anländer.
Varje rad i SSE-strömmen börjar med data: följt av ett JSON-objekt. Den sista händelsen är data: [DONE], vilket signalerar att genereringen är klar.
När du ska använda strömning
Beslutet kokar ner till en fråga: är det en person som tittar på när svaret dyker upp? Om så är fallet (en chattbot, en assistent, ett skrivverktyg) är strömning nästan obligatorisk: användare ser texten dyka upp ord för ord istället för att stirra på en fryst skärm. Vid långa svar gör skillnaden mellan “första ordet på 300 ms” och “hela texten efter 8 sekunder” hela upplevelsen.
Om ingen tittar tillför strömning inget värde och komplicerar bara koden. Ett batchjobb som fyller en databas, en automatiserad pipeline som måste parse:a hela svaret innan den agerar, eller ett anrop som bara returnerar några få ord: i alla dessa fall är det klassiska anropet (en begäran, ett komplett svar) enklare att skriva, testa och felsöka.
Felhantering vid strömning
I strömningsläge kan fel uppstå mitt i strömmen. Din kod måste hantera dessa avbrott:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Viktiga punkter
- Lägg till
stream=Trueför att ta emot token i takt med att de genereras - Protokollet som används är SSE (Server-Sent Events)
- I Python itererar du över chunken och skriver ut
delta.content - Med cURL använder du
-Nför att stänga av buffring - Spara strömning för fall där progressiv visning tillför värde