Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

SSE straumēšana

Nodarbība 13 no 16 Atjaunota 2026. gada 30. jūlijs Programmētājs
Šajā lapā
  1. Atbildes reāllaikā
  2. Straumēšanas ieslēgšana
  3. Notikumu tipi
  4. Straumēšana Python valodā
  5. Straumēšana ar rīkiem
  6. Integrācija front-endā
  7. Straumēšana un rēķinu veidošana
  8. Galvenās atziņas

Atbildes reāllaikā

Parastajā režīmā tu gaidi, līdz modelis ir ģenerējis pilnu atbildi, pirms to saņem. Izmantojot SSE straumēšanu (Server-Sent Events), tokeni pienāk ģenerēšanas brīdī. Tas ir būtiski sarunu saskarnēm, kur lietotāji vēlas redzēt atbildes parādīšanos pakāpeniski.

SSE
Server-Sent Events
~50ms
Pirmais tokens redzams
text/event-stream
Content-Type
stream: true
Viens parametrs

Straumēšanas ieslēgšana

Pievieno "stream": true savam pieprasījumam:

curl https://api.x.ai/v1/responses \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20-0309-reasoning",
    "input": "Write a poem about programming.",
    "stream": true
  }'

Atbilde pienāk kā SSE straume:

data: {"type": "response.created", "response": {...}}
data: {"type": "response.output_item.added", ...}
data: {"type": "response.content_part.added", ...}
data: {"type": "response.output_text.delta", "delta": "La "}
data: {"type": "response.output_text.delta", "delta": "programmation "}
data: {"type": "response.output_text.delta", "delta": "est "}
...
data: {"type": "response.completed", "response": {...}}

Notikumu tipi

NotikumsApraksts
response.createdĢenerēšana sākas
response.output_item.addedJauns elements izvades datos
response.content_part.addedJauna satura daļa
response.output_text.deltaTeksta fragments (visbiežākais)
response.output_text.doneElementa pilns teksts
response.completedAtbilde pabeigta ar lietojuma datiem
response.failedKļūda ģenerēšanas laikā

Straumēšana Python valodā

stream = client.responses.create(
    model="grok-4.20-0309-reasoning",
    input="Explain how a compiler works.",
    stream=True
)

full_text = ""
for event in stream:
    if event.type == "response.output_text.delta":
        print(event.delta, end="", flush=True)
        full_text += event.delta
    elif event.type == "response.completed":
        usage = event.response.usage
        print(f"\n\nTokens: {usage.total_tokens}")
        print(f"Cost: {usage.cost_in_nano_usd / 1e9:.6f} USD")

flush=True piespiež nekavējoties parādīt katru fragmentu.

Straumēšana ar rīkiem

Kad modelis straumēšanas režīmā izmanto rīkus, tu saņem papildu notikumus:

data: {"type": "response.output_item.added", "item": {"type": "web_search_call"}}
data: {"type": "response.web_search_call.in_progress", ...}
data: {"type": "response.web_search_call.completed", ...}
data: {"type": "response.output_text.delta", "delta": "Selon les résultats..."}

Klienta funkciju izsaukumiem argumentus saņem pakāpeniski:

data: {"type": "response.function_call.arguments.delta", "delta": "{\"city\""}
data: {"type": "response.function_call.arguments.delta", "delta": ": \"Paris\"}"}
data: {"type": "response.function_call.arguments.done", ...}

Integrācija front-endā

Tīmekļa lietotnē nosūti SSE straumi pārlūkprogrammai, izmantojot servera galapunktu:

const response = await fetch('/api/chat', {
  method: 'POST',
  body: JSON.stringify({ message: userInput })
});

const reader = response.body.getReader();
const decoder = new TextDecoder();

while (true) {
  const { done, value } = await reader.read();
  if (done) break;
  const text = decoder.decode(value);
  outputElement.textContent += text;
}

Straumēšana un rēķinu veidošana

Straumēšana nemaina rēķinu veidošanu. Izmaksas ir identiskas neatkarīgi no tā, vai tā ir ieslēgta vai nē — atšķiras tikai piegādes veids. Pilns usage objekts ir pieejams notikumā response.completed.

Galvenās atziņas

  • stream: true ieslēdz SSE straumēšanu — tokeni pienāk ģenerēšanas brīdī
  • Notikums response.output_text.delta satur katru teksta fragmentu
  • Notikums response.completed satur gala atbildi ar lietojuma metadatiem
  • Straumēšana darbojas ar rīkiem (web_search, functions)
  • Izmaksas ir identiskas ar straumēšanu vai bez tās