Pretakanje SSE
Na tej strani
Prejemanje odgovorov v realnem času
Privzeto API čaka, da se celoten odgovor ustvari, preden ga vrne. S pretakanjem prejmeš žetone sproti, ko nastajajo. Ta tehnika skrajša čas čakanja, ki ga zazna uporabnik, in ti omogoča postopno prikazovanje odgovorov, točno tako, kot to počne vmesnik Grok.
Kako deluje pretakanje
Pretakanje uporablja protokol Server-Sent Events (SSE). Namesto enega samega odziva HTTP strežnik pošlje neprekinjen tok dogodkov. Vsak dogodek vsebuje delček odgovora, odjemalec pa jih združi, da ponovno sestavi celotno besedilo.
Parameter stream: true vklopi ta način za katero koli končno točko za ustvarjanje.
Pretakanje v Pythonu z OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Kako koda deluje
stream=Truevklopi pretakanje- Odziv je iterator predmetov
chunk(delčkov) - Vsak delček vsebuje
deltaz novo vsebino end=""prepreči prelome vrstic med delčkiflush=Trueprisili takojšen izpis
Pretakanje s končno točko /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Končna točka /v1/responses uporablja tipizirane dogodke. Tip response.output_text.delta vsebuje besedilne delčke.
Pretakanje s cURL
cURL samodejno podpira pretakanje SSE. Zahtevi dodaj "stream": true:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Možnost -N izklopi medpomnjenje v cURL, zato se dogodki prikažejo takoj, ko prispejo.
Vsaka vrstica toka SSE se začne z data:, ki mu sledi objekt JSON. Zadnji dogodek je data: [DONE], ki signalizira konec ustvarjanja.
Kdaj uporabiti pretakanje
Odločitev se свede na eno vprašanje: ali oseba opazuje prihajanje odgovora? Če da (klepetalni bot, asistent, orodje za pisanje), je pretakanje skoraj obvezno: uporabniki vidijo, kako se besedilo pojavlja beseda za besedo, namesto da bi strmeli v zamrznjen zaslon. Pri dolgih odgovorih razlika med „prva beseda v 300 ms” in „vse besedilo po 8 sekundah” drastično spremeni celotno zaznano izkušnjo.
Če nihče ne opazuje, pretakanje ne doda ničesar in le zaplete kodo. Serijska opravila, ki polnijo zbirko podatkov, avtomatizirani cevovodi, ki morajo pred ukrepanjem razčleniti celoten odgovor, ali klici, ki vrnejo le nekaj besed: v vseh teh primerih ostane klasični klic (ena zahteva, en celoten odgovor) preprostejši za zapis, testiranje in odpravljanje napak.
Obravnava napak pri pretakanju
V načinu pretakanja se lahko napake pojavijo sredi toka. Tvoja koda mora obravnavati te prekinitve:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Ključne ugotovitve
- Dodaj
stream=True, da prejmeš žetone sproti, ko nastajajo - Uporabljeni protokol je SSE (Server-Sent Events)
- V Pythonu iteriraj skozi delčke in izpiši
delta.content - Pri cURL uporabi
-Nza izklop medpomnjenja - Pretakanje uporabi le tam, kjer postopni prikaz doda vrednost