SSE voogedastus
Sellel lehel
Vastuste saamine reaalajas
Vaikimisi ootab API, kuni kogu vastus on genereeritud, enne kui selle tagastab. Voogedastuse korral saad tokenid kätte kohe, kui need luuakse. See tehnika lühendab kasutaja tajutavat ooteaega ja võimaldab vastuseid kuvada järk-järgult, täpselt nagu Grok’i liideses.
Kuidas voogedastus toimib
Voogedastus kasutab Server-Sent Events (SSE) protokolli. Üheainsa HTTP-vastuse asemel saadab server pidevat sündmuste voogu. Iga sündmus sisaldab vastuse fragmenti ja klient paneb need kokku, et taastada terviktekst.
Parameeter stream: true lülitab selle režiimi sisse igas genereerimise lõpp-punktis.
Voogedastus Pythonis OpenAI SDK-ga
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Kuidas kood töötab
stream=Truelülitab voogedastuse sisse- Vastus on
chunk-objektide (fragmentide) iteraator - Iga tükk sisaldab
deltat uue sisuga end=""hoiab ära reavahetused fragmentide vahelflush=Truesunnib väljundi kohesele kuvamisele
Voogedastus lõpp-punktiga /v1/responses
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Lõpp-punkt /v1/responses kasutab tüübitud sündmusi. Tüüp response.output_text.delta sisaldab tekstifragmente.
Voogedastus cURL-iga
cURL toetab SSE voogedastust loomupäraselt. Lisa päringu kehasse "stream": true:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Valik -N lülitab cURL-i puhverdamise välja, nii et sündmused kuvatakse kohe saabumisel.
Iga SSE voo rida algab sõnaga data: ja sellele järgneb JSON-objekt. Viimane sündmus on data: [DONE], mis annab märku genereerimise lõpust.
Millal voogedastust kasutada
Otsus taandub ühele küsimusele: kas inimene jälgib vastuse saabumist? Kui jah (vestlusrobot, assistent, kirjutamisriist), on voogedastus peaaegu kohustuslik: kasutajad näevad teksti sõna haaval ilmuvat, selle asemel et vahtida külmunud ekraani. Pika vastuse korral teeb erinevus „esimene sõna 300 ms pärast“ ja „kogu tekst 8 sekundi pärast“ kogu tajutava kogemuse.
Kui keegi ei jälgi, ei lisa voogedastus midagi ja muudab koodi keerulisemaks. Andmebaasi täitev partiiülesanne, automatiseeritud torustik, mis peab enne tegutsemist kogu vastuse parsima, või päring, mis tagastab vaid mõned sõnad: kõigil neil juhtudel jääb klassikaline kutse (üks päring, üks tervikvastus) lihtsamaks kirjutada, testida ja siluda.
Veakäsitlus voogedastusel
Voogedastusrežiimis võivad vead tekkida voo keskel. Sinu kood peab need katkestused ära käitlema:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Peamised punktid
- Lisa
stream=True, et saada tokenid nende genereerimise käigus - Kasutatav protokoll on SSE (Server-Sent Events)
- Pythonis iterreeri tükkide üle ja prindi
delta.content - cURL-i kasutamisel lülita puhverdamine välja valikuga
-N - Kasuta voogedastust ainult juhtudel, kus järkjärguline kuvamine lisab väärtust