SSE streaming
Ezen az oldalon
Válaszok fogadása valós időben
Alapértelmezés szerint az API megvárja, amíg a teljes válasz generálódik, mielőtt visszaadná azt. Streaminggel azonban a tokeneket már generálás közben megkapod. Ez a technika csökkenti a felhasználók által érzékelt várakozási időt, és lehetővé teszi a válaszok fokozatos megjelenítését, pontosan úgy, ahogy azt a Grok felület is teszi.
Hogyan működik a streaming?
A streaming a Server-Sent Events (SSE) protokollt használja. Egyetlen HTTP-válasz helyett a szerver események folyamatos streamjét küldi. Minden esemény a válasz egy töredékét tartalmazza, amelyet a kliens összerak a teljes szöveg helyreállításához.
A stream: true paraméter bekapcsolja ezt a módot bármelyik generálási végponton.
Streaming Pythonban az OpenAI SDK-val
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Hogyan működik a kód?
- A
stream=Truebekapcsolja a streaminget. - A válasz a
chunkobjektumok (töredékek) iterátora. - Minden chunk egy
deltaelemet tartalmaz az új tartalommal. - Az
end=""megakadályozza a sortöréseket a töredékek között. - A
flush=Truekikényszeríti az azonnali megjelenítést.
Streaming a /v1/responses végponttal
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
A /v1/responses végpont típusos eseményeket használ. A response.output_text.delta típus tartalmazza a szövegtöredékeket.
Streaming cURL-lal
A cURL natívan támogatja az SSE streaminget. Add hozzá a "stream": true elemet a kérés törzséhez:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
A -N kapcsoló kikapcsolja a cURL pufferelését, így az események megjelennek, amint megérkeznek.
Az SSE stream minden sora a data: előtaggal kezdődik, amelyet egy JSON-objektum követ. Az utolsó esemény a data: [DONE], amely a generálás végét jelzi.
Mikor használj streaminget?
A döntés egyetlen kérdésre vezethető vissza: figyeli-e valaki a válasz érkezését? Ha igen (chatbot, asszisztens, íróeszköz), a streaming szinte kötelező: a felhasználók szóról szóra látják megjelenő szöveget ahelyett, hogy egy befagyott képernyőt bámulnának, és hosszú válaszok esetén a „300 ms múlva megjelenik az első szó“ és a „8 másodperc múlva megjelenik az egész szöveg“ közötti különbség meghatározza a teljes érzékelt élményt.
Ha senki sem figyeli, a streaming semmit nem ad hozzá, csak bonyolítja a kódot. Adatbázist feltöltő kötegelt feladat, olyan automatizált folyamat, amelynek a teljes választ elemeznie kell a fellépés előtt, vagy egy hívás, amely csak néhány szót ad vissza: mindezekben az esetekben a klasszikus hívás (egy kérés, egy teljes válasz) marad a könnyebben írható, tesztelhető és hibakereshető megoldás.
Hibakezelés streaming esetén
Streaming módban hibák történhetnek a stream közepén is. A kódodnak kezelnie kell ezeket a megszakításokat:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Főbb megállapítások
- Add hozzá a
stream=Trueparamétert a tokenek generálás közbeni fogadásához. - A használt protokoll az SSE (Server-Sent Events).
- Pythonban iterálj a chunkokon, és írd ki a
delta.contentértékét. - cURL használatakor alkalmazd a
-Nkapcsolót a pufferelés kikapcsolásához. - Csak akkor használj streaminget, ha a fokozatos megjelenítés valódi értéket ad.