Streamovanie pomocou SSE
Na tejto strane
Prijímanie odpovedí v reálnom čase
API štandardne čaká, kým sa nevygeneruje celá odpoveď, a až potom ju vráti. Pri streamovaní dostávaš tokeny hneď, ako sú generované. Táto technika skracuje čakaciu dobu, ktorú vníma používateľ, a umožňuje ti zobrazovať odpovede postupne, presne tak, ako to robí rozhranie Grok.
Ako funguje streamovanie
Streamovanie využíva protokol Server-Sent Events (SSE). Namiesto jednej HTTP odpovede server vysiela nepretržitý prúd udalostí. Každá udalosť obsahuje fragment odpovede a klient ich spája, aby zrekonštruoval celý text.
Parameter stream: true aktivuje tento režim pre ktorýkoľvek koncový bod generovania.
Streamovanie v Pythone pomocou OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Ako kód funguje
stream=Truezapne streamovanie- Odpoveď je iterátor objektov
chunk(fragmentov) - Každý chunk obsahuje
deltas novým obsahom end=""zabraňuje vkládaniu nových riadkov medzi fragmentyflush=Truevynúti okamžité zobrazenie
Streamovanie pomocou koncového bodu /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Koncový bod /v1/responses používa typované udalosti. Typ response.output_text.delta obsahuje textové fragmenty.
Streamovanie pomocou cURL
cURL natívne podporuje streamovanie SSE. Do tela požiadavky pridaj "stream": true:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Voľba -N vypne bufferovanie v cURL, takže sa udalosti zobrazia hneď, ako prídu.
Každý riadok prúdu SSE začína reťazcom data: nasledovaným objektom JSON. Poslednou udalosťou je data: [DONE], ktorá signalizuje koniec generovania.
Kedy používať streamovanie
Rozhodnutie sa redukuje na jednu otázku: pozerá sa človek na prichádzajúcu odpoveď? Ak áno (chatbot, asistent, nástroj na písanie), streamovanie je takmer povinnosťou: používatelia vidia text objavovať sa slovo po slove namiesto toho, aby hľadeli na zamrznutú obrazovku. Pri dlhšej odpovedi robí rozdiel medzi „prvým slovom za 300 ms“ a „celým textom po 8 sekundách“ zásadný rozdiel v celkovom vnímaní zážitku.
Ak sa nikto nepozerá, streamovanie nič nepridáva a len komplikuje kód. Dávková úloha, ktorá vypĺňa databázu, automatizovaný pipeline, ktorý musí pred konaním spracovať celú odpoveď, alebo volanie, ktoré vracia len pár slov: vo všetkých týchto prípadoch zostáva klasické volanie (jedna požiadavka, jedna úplná odpoveď) jednoduchšie na napísanie, testovanie a ladenie.
Ošetrenie chýb pri streamovaní
V režime streamovania môžu nastať chyby uprostred prúdu. Tvoj kód musí tieto prerušenia ošetriť:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Kľúčové poznatky
- Pridaj
stream=True, aby si dostával tokeny počas ich generovania - Používaným protokolom je SSE (Server-Sent Events)
- V Pythone iteruj cez chunky a vypisuj
delta.content - Pri cURL použij
-Nna vypnutie bufferovania - Streamovanie si nechaj pre prípady, kde má postupné zobrazovanie pridanú hodnotu