Spring til hovedindhold
Dansk— Vælg et sprog
Menu

SSE-streaming

Lektion 10 af 14 Opdateret 30. juli 2026 Udvikler
På denne side
  1. Modtag svar i realtid
  2. Hvordan streaming fungerer
  3. Streaming i Python med OpenAI SDK
  4. Streaming med /v1/responses-endpointet
  5. Streaming med cURL
  6. Hvornår skal du bruge streaming?
  7. Fejlhåndtering ved streaming
  8. Vigtige pointer

Modtag svar i realtid

Som standard venter API’et, indtil hele svaret er genereret, før det returneres. Med streaming modtager du tokens, efterhånden som de genereres. Denne teknik reducerer den ventetid, brugeren oplever, og giver dig mulighed for at vise svar progressivt, præcis som Grok-grænsefladen gør det.

Hvordan streaming fungerer

Streaming bruger Server-Sent Events (SSE)-protokollen. I stedet for ét enkelt HTTP-svar sender serveren en kontinuerlig strøm af begivenheder. Hver begivenhed indeholder en brøkdel af svaret, og klienten samler dem for at genopbygge den komplette tekst.

Parameteren stream: true aktiverer denne tilstand for ethvert generations-endpoint.

Streaming i Python med OpenAI SDK

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Final line break

Hvordan koden fungerer

  • stream=True aktiverer streaming
  • Svaret er en iterator af chunk-objekter (fragmenter)
  • Hvert chunk indeholder en delta med det nye indhold
  • end="" forhindrer linjeskift mellem fragmenterne
  • flush=True gennemtvinger øjeblikkelig visning

Streaming med /v1/responses-endpointet

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Endpointet /v1/responses bruger typede begivenheder. Typen response.output_text.delta indeholder tekstfragmenterne.

Streaming med cURL

cURL understøtter SSE-streaming nativt. Tilføj "stream": true til anmodningsbodyen:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Flaget -N deaktiverer cURL’s buffering, så begivenheder vises, så snart de ankommer.

Hver linje i SSE-strømmen starter med data: efterfulgt af et JSON-objekt. Den sidste begivenhed er data: [DONE], hvilket signalerer afslutningen på generationen.

Hvornår skal du bruge streaming?

Beslutningen afhænger af ét spørgsmål: Er der en person, der ser svaret blive til? Hvis ja (en chatbot, en assistent, et skriveværktøj), er streaming næsten obligatorisk: Brugere ser teksten dukke op ord for ord i stedet for at stirre på en frossen skærm. Ved lange svar gør forskellen mellem „første ord på 300 ms” og „hele teksten efter 8 sekunder” en kæmpe forskel for den oplevede brugeroplevelse.

Hvis ingen ser på, tilføjer streaming ingen værdi og komplicerer blot koden. Et batch-job, der fylder en database, en automatiseret pipeline, der skal parse hele svaret, før den handler, eller et kald, der kun returnerer få ord: I alle disse tilfælde er det klassiske kald (én anmodning, ét komplet svar) stadig enklere at skrive, teste og fejlfinde.

Fejlhåndtering ved streaming

I streaming-tilstand kan der opstå fejl midt i strømmen. Din kode skal kunne håndtere disse afbrydelser:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Vigtige pointer

  • Tilføj stream=True for at modtage tokens, efterhånden som de genereres
  • Protokollen, der bruges, er SSE (Server-Sent Events)
  • I Python itererer du over chunks og udskriver delta.content
  • Med cURL bruger du -N til at deaktivere buffering
  • Gem streaming til tilfælde, hvor progressiv visning tilfører værdi