Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Pretakanje SSE

Lekcija 10 od 14 Posodobljeno 30. julij 2026 Razvijalec
Na tej strani
  1. Prejemanje odgovorov v realnem času
  2. Kako deluje pretakanje
  3. Pretakanje v Pythonu z OpenAI SDK
  4. Pretakanje s končno točko /v1/responses
  5. Pretakanje s cURL
  6. Kdaj uporabiti pretakanje
  7. Obravnava napak pri pretakanju
  8. Ključne ugotovitve

Prejemanje odgovorov v realnem času

Privzeto API čaka, da se celoten odgovor ustvari, preden ga vrne. S pretakanjem prejmeš žetone sproti, ko nastajajo. Ta tehnika skrajša čas čakanja, ki ga zazna uporabnik, in ti omogoča postopno prikazovanje odgovorov, točno tako, kot to počne vmesnik Grok.

Kako deluje pretakanje

Pretakanje uporablja protokol Server-Sent Events (SSE). Namesto enega samega odziva HTTP strežnik pošlje neprekinjen tok dogodkov. Vsak dogodek vsebuje delček odgovora, odjemalec pa jih združi, da ponovno sestavi celotno besedilo.

Parameter stream: true vklopi ta način za katero koli končno točko za ustvarjanje.

Pretakanje v Pythonu z OpenAI SDK

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Final line break

Kako koda deluje

  • stream=True vklopi pretakanje
  • Odziv je iterator predmetov chunk (delčkov)
  • Vsak delček vsebuje delta z novo vsebino
  • end="" prepreči prelome vrstic med delčki
  • flush=True prisili takojšen izpis

Pretakanje s končno točko /v1/responses

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Končna točka /v1/responses uporablja tipizirane dogodke. Tip response.output_text.delta vsebuje besedilne delčke.

Pretakanje s cURL

cURL samodejno podpira pretakanje SSE. Zahtevi dodaj "stream": true:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Možnost -N izklopi medpomnjenje v cURL, zato se dogodki prikažejo takoj, ko prispejo.

Vsaka vrstica toka SSE se začne z data:, ki mu sledi objekt JSON. Zadnji dogodek je data: [DONE], ki signalizira konec ustvarjanja.

Kdaj uporabiti pretakanje

Odločitev se свede na eno vprašanje: ali oseba opazuje prihajanje odgovora? Če da (klepetalni bot, asistent, orodje za pisanje), je pretakanje skoraj obvezno: uporabniki vidijo, kako se besedilo pojavlja beseda za besedo, namesto da bi strmeli v zamrznjen zaslon. Pri dolgih odgovorih razlika med „prva beseda v 300 ms” in „vse besedilo po 8 sekundah” drastično spremeni celotno zaznano izkušnjo.

Če nihče ne opazuje, pretakanje ne doda ničesar in le zaplete kodo. Serijska opravila, ki polnijo zbirko podatkov, avtomatizirani cevovodi, ki morajo pred ukrepanjem razčleniti celoten odgovor, ali klici, ki vrnejo le nekaj besed: v vseh teh primerih ostane klasični klic (ena zahteva, en celoten odgovor) preprostejši za zapis, testiranje in odpravljanje napak.

Obravnava napak pri pretakanju

V načinu pretakanja se lahko napake pojavijo sredi toka. Tvoja koda mora obravnavati te prekinitve:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Ključne ugotovitve

  • Dodaj stream=True, da prejmeš žetone sproti, ko nastajajo
  • Uporabljeni protokol je SSE (Server-Sent Events)
  • V Pythonu iteriraj skozi delčke in izpiši delta.content
  • Pri cURL uporabi -N za izklop medpomnjenja
  • Pretakanje uporabi le tam, kjer postopni prikaz doda vrednost