Streamování SSE
Na této stránce
Přijímej odpovědi v reálném čase
Ve výchozím nastavení API čeká, až se vygeneruje celá odpověď, a teprve poté ji vrátí. Díky streamování dostáváš tokeny průběžně, jak jsou generovány. Tato technika zkracuje dobu čekání, kterou uživatel vnímá, a umožňuje ti zobrazovat odpovědi postupně, přesně tak, jak to dělá rozhraní Grok.
Jak funguje streamování
Streamování využívá protokol Server-Sent Events (SSE). Místo jedné HTTP odpovědi server posílá nepřetržitý proud událostí. Každá událost obsahuje fragment odpovědi a klient je skládá dohromady, aby obnovil celý text.
Parametr stream: true aktivuje tento režim pro jakýkoli koncový bod generování.
Streamování v Pythonu pomocí OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Jak kód funguje
stream=Truezapne streamování- Odpověď je iterátor objektů
chunk(fragmentů) - Každý chunk obsahuje
deltas novým obsahem end=""zabraňuje vkládání nových řádků mezi fragmentyflush=Truevynutí okamžité zobrazení
Streamování s koncovým bodem /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Koncový bod /v1/responses používá typované události. Typ response.output_text.delta obsahuje textové fragmenty.
Streamování pomocí cURL
cURL podporuje streamování SSE nativně. Do těla požadavku přidej "stream": true:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Volba -N vypne bufferování v cURL, takže se události zobrazí hned, jak dorazí.
Každý řádek proudu SSE začíná řetězcem data: následovaným objektem JSON. Poslední událost je data: [DONE], která signalizuje konec generování.
Kdy použít streamování
Rozhodnutí se redukuje na jednu otázku: sleduje člověk příchod odpovědi? Pokud ano (chatbot, asistent, nástroj pro psaní), je streamování téměř povinné: uživatelé vidí text objevovat se slovo od slova místo toho, aby zírali na zamrzlou obrazovku. U dlouhých odpovědí dělá rozdíl mezi „první slovo za 300 ms“ a „celý text po 8 sekundách“ zásadní rozdíl v celkovém vnímaném zážitku.
Pokud nikdo nesleduje, streamování nic nepřináší a jen komplikuje kód. Dávková úloha plnící databázi, automatizované potrubí, které musí před akcí analyzovat celou odpověď, nebo volání vracející jen pár slov: ve všech těchto případech zůstává klasické volání (jeden požadavek, jedna úplná odpověď) jednodušší na napsání, testování i ladění.
Zpracování chyb při streamování
V režimu streamování mohou chyby nastat uprostřed proudu. Tvůj kód musí tyto přerušení ošetřit:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Klíčové poznatky
- Přidej
stream=Truepro přijímání tokenů během jejich generování - Používaným protokolem je SSE (Server-Sent Events)
- V Pythonu iteruj přes chunky a tiskni
delta.content - Při použití cURL použij
-Npro vypnutí bufferování - Streamování si nech pro případy, kdy má postupné zobrazování přidanou hodnotu