Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Strömmande SSE

Lektion 10 av 14 Uppdaterad 30 juli 2026 Utvecklare
På denna sida
  1. Ta emot svar i realtid
  2. Hur strömning fungerar
  3. Strömning i Python med OpenAI SDK
  4. Strömning med /v1/responses-endpunkten
  5. Strömning med cURL
  6. När du ska använda strömning
  7. Felhantering vid strömning
  8. Viktiga punkter

Ta emot svar i realtid

Som standard väntar API:t tills hela svaret har genererats innan det returneras. Med strömning får du token i takt med att de genereras. Denna teknik minskar den väntetid användaren upplever och låter dig visa svar progressivt, precis som Grok-gränssnittet gör.

Hur strömning fungerar

Strömning använder protokollet Server-Sent Events (SSE). Istället för ett enda HTTP-svar skickar servern en kontinuerlig ström av händelser. Varje händelse innehåller en fragmentdel av svaret, och klienten sätter ihop dem för att återskapa hela texten.

Parametern stream: true aktiverar detta läge för vilken generationsendpunkt som helst.

Strömning i Python med OpenAI SDK

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Final line break

Hur koden fungerar

  • stream=True aktiverar strömning
  • Svaret är en iterator av chunk-objekt (fragment)
  • Varje chunk innehåller ett delta med det nya innehållet
  • end="" förhindrar radbrytningar mellan fragment
  • flush=True tvingar fram omedelbar visning

Strömning med /v1/responses-endpunkten

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Endpunkten /v1/responses använder typade händelser. Typen response.output_text.delta innehåller textfragmenten.

Strömning med cURL

cURL stöder SSE-strömning inbyggt. Lägg till "stream": true i begärandekroppen:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Flaggan -N stänger av cURL:s buffring så att händelser visas så snart de anländer.

Varje rad i SSE-strömmen börjar med data: följt av ett JSON-objekt. Den sista händelsen är data: [DONE], vilket signalerar att genereringen är klar.

När du ska använda strömning

Beslutet kokar ner till en fråga: är det en person som tittar på när svaret dyker upp? Om så är fallet (en chattbot, en assistent, ett skrivverktyg) är strömning nästan obligatorisk: användare ser texten dyka upp ord för ord istället för att stirra på en fryst skärm. Vid långa svar gör skillnaden mellan “första ordet på 300 ms” och “hela texten efter 8 sekunder” hela upplevelsen.

Om ingen tittar tillför strömning inget värde och komplicerar bara koden. Ett batchjobb som fyller en databas, en automatiserad pipeline som måste parse:a hela svaret innan den agerar, eller ett anrop som bara returnerar några få ord: i alla dessa fall är det klassiska anropet (en begäran, ett komplett svar) enklare att skriva, testa och felsöka.

Felhantering vid strömning

I strömningsläge kan fel uppstå mitt i strömmen. Din kod måste hantera dessa avbrott:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Viktiga punkter

  • Lägg till stream=True för att ta emot token i takt med att de genereras
  • Protokollet som används är SSE (Server-Sent Events)
  • I Python itererar du över chunken och skriver ut delta.content
  • Med cURL använder du -N för att stänga av buffring
  • Spara strömning för fall där progressiv visning tillför värde