Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Streaming SSE

Oppitunti 13 / 16 Päivitetty 30. heinäkuuta 2026 Kehittäjä
Tällä sivulla
  1. Vastaukset reaaliajassa
  2. Streamauksen käyttöönotto
  3. Tapahtumatyypit
  4. Streamaus Pythonilla
  5. Streamaus työkalujen kanssa
  6. Integrointi frontendiin
  7. Streamaus ja laskutus
  8. Keskeiset asiat

Vastaukset reaaliajassa

Normaalitilassa odotat, että malli saa koko vastauksen valmiiksi ennen kuin vastaanotat sen. SSE-streamauksella (Server-Sent Events) tokenit saapuvat sitä mukaa kuin niitä generoidaan. Tämä on välttämätöntä keskustelukäyttöliittymissä, joissa käyttäjät haluavat nähdä vastauksen ilmestyvän vähitellen.

SSE
Server-Sent Events
~50ms
Ensimmäinen token näkyvissä
text/event-stream
Content-Type
stream: true
Yksi parametri

Streamauksen käyttöönotto

Lisää pyyntöösi "stream": true:

curl https://api.x.ai/v1/responses \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20-0309-reasoning",
    "input": "Write a poem about programming.",
    "stream": true
  }'

Vastaus saapuu SSE-virtana:

data: {"type": "response.created", "response": {...}}
data: {"type": "response.output_item.added", ...}
data: {"type": "response.content_part.added", ...}
data: {"type": "response.output_text.delta", "delta": "La "}
data: {"type": "response.output_text.delta", "delta": "programmation "}
data: {"type": "response.output_text.delta", "delta": "est "}
...
data: {"type": "response.completed", "response": {...}}

Tapahtumatyypit

TapahtumaKuvaus
response.createdGenerointi alkaa
response.output_item.addedUusi kohde tulosteessa
response.content_part.addedUusi sisältöosa
response.output_text.deltaTekstikatkelma (yleisin)
response.output_text.doneKohteen koko teksti valmis
response.completedVastaus finalisoitu käyttötietoineen
response.failedVirhe generoinnin aikana

Streamaus Pythonilla

stream = client.responses.create(
    model="grok-4.20-0309-reasoning",
    input="Explain how a compiler works.",
    stream=True
)

full_text = ""
for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)
        full_text += event.delta
    elif event.type == "response.completed":
        usage = event.response.usage
        print(f"\n\nTokens: {usage.total_tokens}")
        print(f"Cost: {usage.cost_in_nano_usd / 1e9:.6f} USD")

flush=True pakottaa jokaisen katkelman välittömän näyttämisen.

Streamaus työkalujen kanssa

Kun malli käyttää työkaluja streamaus-tilassa, vastaanotat lisätapahtumia:

data: {"type": "response.output_item.added", "item": {"type": "web_search_call"}}
data: {"type": "response.web_search_call.in_progress", ...}
data: {"type": "response.web_search_call.completed", ...}
data: {"type": "response.output_text.delta", "delta": "Selon les résultats..."}

Asiakkaan funktiokutsuissa vastaanotat argumentit vähitellen:

data: {"type": "response.function_call.arguments.delta", "delta": "{\"city\""}
data: {"type": "response.function_call.arguments.delta", "delta": ": \"Paris\"}"}
data: {"type": "response.function_call.arguments.done", ...}

Integrointi frontendiin

Web-sovelluksessa lähetä SSE-virta selaimelle palvelimen päätepisteen kautta:

const response = await fetch('/api/chat', {
  method: 'POST',
  body: JSON.stringify({ message: userInput })
});

const reader = response.body.getReader();
const decoder = new TextDecoder();

while (true) {
  const { done, value } = await reader.read();
  if (done) break;
  const text = decoder.decode(value);
  outputElement.textContent += text;
}

Streamaus ja laskutus

Streamaus ei muuta laskutusta. Kustannus on sama riippumatta siitä, onko se käytössä vai ei – vain toimitustapa eroaa. Koko usage-objekti on saatavilla response.completed-tapahtumassa.

Keskeiset asiat

  • stream: true ottaa käyttöön SSE-streamauksen – tokenit saapuvat generoinnin edetessä
  • response.output_text.delta -tapahtuma sisältää jokaisen tekstikatkelman
  • response.completed -tapahtuma sisältää lopullisen vastauksen käyttötietoineen
  • Streamaus toimii työkalujen (web_search, functions) kanssa
  • Kustannus on sama streamauksen kanssa tai ilman