SSE srautinis perdavimas
Šiame puslapyje
Gauk atsakymus realiuoju laiku
Pagal nutylėjimą API laukia, kol bus sugeneruotas visas atsakymas, ir tik tada jį grąžina. Naudojant srautinį perdavimą, gauni žetonus jiems generuojantis. Ši technika sumažina naudotojų laukimo laiką ir leidžia rodyti atsakymus palaipsniui, lygiai taip, kaip tai daro „Grok“ sąsaja.
Kaip veikia srautinis perdavimas
Srautiniam perdavimui naudojamas Server-Sent Events (SSE) protokolas. Vietoj vieno HTTP atsakymo serveris siunčia nenutrūkstamą įvykių srautą. Kiekviename įvykyje yra atsakymo fragmentas, o klientas juos surenka, kad atkurtų visą tekstą.
Parametras stream: true įjungia šį režimą bet kuriame generavimo galiniame taške.
Srautinis perdavimas „Python“ kalba naudojant „OpenAI“ SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Galutinis eilutės lūžis
Kaip veikia kodas
stream=Trueįjungia srautinį perdavimą- Atsakymas yra
chunkobjektų (fragmentų) iteratorius - Kiekviename fragmente yra
deltasu nauju turiniu end=""neleidžia atsirasti eilučių lūžiams tarp fragmentųflush=Truepriverčia nedelsiant rodyti duomenis
Srautinis perdavimas naudojant /v1/responses galinį tašką
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Galinis taškas /v1/responses naudoja tipizuotus įvykius. Tipas response.output_text.delta zawiera tekstinius fragmentus.
Srautinis perdavimas naudojant cURL
cURL natūraliai palaiko SSE srautinį perdavimą. Į užklausos kūną įtrauk "stream": true:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Parametras -N išjungia cURL buferizavimą, kad įvykiai būtų rodomi iškart jiems atvykus.
Kiekviena SSE srauto eilutė prasideda data:, po kurio seka JSON objektas. Paskutinis įvykis yra data: [DONE], signalizuojantis generavimo pabaigą.
Kada naudoti srautinį perdavimą
Sprendimas priklauso nuo vieno klausimo: ar žmogus stebi, kaip atsiranda atsakymas? Jei taip (pokalbių robotas, asistentas, rašymo įrankis), srautinis perdavimas yra beveik privalomas: naudotojai mato tekstą atsirandantį žodis po žodžio, užuot žiūrėję į sustingusį ekraną. Ilgo atsakymo atveju skirtumas tarp „pirmas žodis per 300 ms“ ir „visas tekstas po 8 sekundžių“ lemia visą suvokiamą patirtį.
Jei niekas nestebi, srautinis perdavimas nieko neprideda ir tik apsunkina kodą. Grupinis darbas, užpildantis duomenų bazę, automatizuota grandinė, kuri prieš veikdama turi išanalizuoti visą atsakymą, arba kvietimas, grąžinantis tik kelis žodžius: visais šiais atvejais klasikinis kvietimas (viena užklausa, vienas pilnas atsakymas) lieka paprastesnis rašyti, testuoti ir derinti.
Klaidų apdorojimas srautiniu režimu
Srautiniu režimu klaidos gali įvykti srauto viduryje. Tavo kodas turi gebėti tvarkyti tokius nutrūkimus:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Svarbiausi punktai
- Pridėk
stream=True, kad gautum žetonus jiems generuojantis - Naudojamas protokolas yra SSE (Server-Sent Events)
- „Python“ kalba iteruok per fragmentus ir spausdink
delta.content - Naudojant cURL, naudok
-N, kad išjungtum buferizavimą - Naudok srautinį perdavimą tik tais atvejais, kai palaipsnis rodymas suteikia pridėtinės vertės