SSE straumēšana
Šajā lapā
Saņem atbildes reāllaikā
Pēc noklusējuma API gaida, līdz ir ģenerēta visa atbilde, pirms to atgriež. Izmantojot straumēšanu, tu saņem tokenus to ģenerēšanas brīdī. Šī metode samazina lietotāja uztverto gaidīšanas laiku un ļauj parādīt atbildes pakāpeniski, tieši tā, kā to dara Grok saskarne.
Kā darbojas straumēšana
Straumēšana izmanto Server-Sent Events (SSE) protokolu. Viena HTTP atbildes vietā serveris nosūta nepārtrauktu notikumu plūsmu. Katrs notikums satur atbildes fragmentu, un klients tos apvieno, lai atjaunotu pilnu tekstu.
Parametrs stream: true ieslēdz šo režīmu jebkuram ģenerēšanas galapunktam.
Straumēšana Python valodā, izmantojot OpenAI SDK
from openai import OpenAI
import os
client = OpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1"
)
stream = client.chat.completions.create(
model="grok-4.5",
messages=[
{"role": "user", "content": "Explain the SOLID principles in programming."}
],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
print() # Final line break
Kā darbojas kods
stream=Trueieslēdz straumēšanu- Atbilde ir
chunkobjektu (fragmentu) iterators - Katrs fragments satur
deltaar jauno saturu end=""novērš rindu pārrāvumus starp fragmentiemflush=Truepiespiež tūlītēju izvadi
Straumēšana, izmantojot /v1/responses galapunktu
stream = client.responses.create(
model="grok-4.5",
input="Describe the steps to deploy a web application.",
stream=True
)
for event in stream:
if hasattr(event, 'type') and event.type == 'response.output_text.delta':
print(event.delta, end="", flush=True)
print()
Galapunkts /v1/responses izmanto tipētus notikumus. Tips response.output_text.delta satur teksta fragmentus.
Straumēšana, izmantojot cURL
cURL atbalsta SSE straumēšanu dabiski. Pievieno "stream": true pieprasījuma ķermenim:
curl -N https://api.x.ai/v1/chat/completions \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.5",
"messages": [{"role": "user", "content": "Hello"}],
"stream": true
}'
Opcija -N izslēdz cURL buferizāciju, lai notikumi tiktu parādīti tiklīdz tie pienāk.
Katra SSE plūsmas rinda sākas ar data:, kam seko JSON objekts. Pēdējais notikums ir data: [DONE], kas signalizē ģenerēšanas beigām.
Kad izmantot straumēšanu
Lēmums ir atkarīgs no viena jautājuma: vai kāds vēro atbildes parādīšanos? Ja jā (čatbots, asistents, rakstīšanas rīks), straumēšana ir gandrīz obligāta: lietotāji redz tekstu parādāmies vārdu pa vārdam, nevis skatās uz iesalušu ekrānu. Garas atbildes gadījumā starpība starp „pirmais vārds pēc 300 ms” un „viss teksts pēc 8 sekundēm” radikāli maina uztverto pieredzi.
Ja neviens neskatās, straumēšana nedod nekādu labumu un tikai sarežģī kodu. Daudzuzdevumu darbs, kas aizpilda datubāzi, automatizēta cauruļvads, kam pirms darbības jāparsē pilna atbilde, vai izsaukums, kas atgriež tikai dažus vārdus: visos šajos gadījumos klasiskais izsaukums (viens pieprasījums, viena pilna atbilde) paliek vienkāršāk rakstāms, testējams un atkļūdojams.
Kļūdu apstrāde straumēšanas režīmā
Straumēšanas režīmā kļūdas var rasties plūsmas vidū. Tavam kodam ir jāspēj apstrādāt šādus pārtraukumus:
try:
stream = client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": "Test"}],
stream=True
)
for chunk in stream:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")
except Exception as e:
print(f"\nError during streaming: {e}")
Galvenās atziņas
- Pievieno
stream=True, lai saņemtu tokenus to ģenerēšanas brīdī - Izmantotais protokols ir SSE (Server-Sent Events)
- Python valodā iterē pār fragmentiem un izvadi
delta.content - Izmantojot cURL, lieto
-N, lai izslēgtu buferizāciju - Izmanto straumēšanu tikai gadījumos, kad pakāpeniska attēlošana pievieno vērtību