Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

SSE straumēšana

Nodarbība 10 no 14 Atjaunota 2026. gada 30. jūlijs Programmētājs
Šajā lapā
  1. Saņem atbildes reāllaikā
  2. Kā darbojas straumēšana
  3. Straumēšana Python valodā, izmantojot OpenAI SDK
  4. Straumēšana, izmantojot /v1/responses galapunktu
  5. Straumēšana, izmantojot cURL
  6. Kad izmantot straumēšanu
  7. Kļūdu apstrāde straumēšanas režīmā
  8. Galvenās atziņas

Saņem atbildes reāllaikā

Pēc noklusējuma API gaida, līdz ir ģenerēta visa atbilde, pirms to atgriež. Izmantojot straumēšanu, tu saņem tokenus to ģenerēšanas brīdī. Šī metode samazina lietotāja uztverto gaidīšanas laiku un ļauj parādīt atbildes pakāpeniski, tieši tā, kā to dara Grok saskarne.

Kā darbojas straumēšana

Straumēšana izmanto Server-Sent Events (SSE) protokolu. Viena HTTP atbildes vietā serveris nosūta nepārtrauktu notikumu plūsmu. Katrs notikums satur atbildes fragmentu, un klients tos apvieno, lai atjaunotu pilnu tekstu.

Parametrs stream: true ieslēdz šo režīmu jebkuram ģenerēšanas galapunktam.

Straumēšana Python valodā, izmantojot OpenAI SDK

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Final line break

Kā darbojas kods

  • stream=True ieslēdz straumēšanu
  • Atbilde ir chunk objektu (fragmentu) iterators
  • Katrs fragments satur delta ar jauno saturu
  • end="" novērš rindu pārrāvumus starp fragmentiem
  • flush=True piespiež tūlītēju izvadi

Straumēšana, izmantojot /v1/responses galapunktu

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Galapunkts /v1/responses izmanto tipētus notikumus. Tips response.output_text.delta satur teksta fragmentus.

Straumēšana, izmantojot cURL

cURL atbalsta SSE straumēšanu dabiski. Pievieno "stream": true pieprasījuma ķermenim:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Opcija -N izslēdz cURL buferizāciju, lai notikumi tiktu parādīti tiklīdz tie pienāk.

Katra SSE plūsmas rinda sākas ar data:, kam seko JSON objekts. Pēdējais notikums ir data: [DONE], kas signalizē ģenerēšanas beigām.

Kad izmantot straumēšanu

Lēmums ir atkarīgs no viena jautājuma: vai kāds vēro atbildes parādīšanos? Ja jā (čatbots, asistents, rakstīšanas rīks), straumēšana ir gandrīz obligāta: lietotāji redz tekstu parādāmies vārdu pa vārdam, nevis skatās uz iesalušu ekrānu. Garas atbildes gadījumā starpība starp „pirmais vārds pēc 300 ms” un „viss teksts pēc 8 sekundēm” radikāli maina uztverto pieredzi.

Ja neviens neskatās, straumēšana nedod nekādu labumu un tikai sarežģī kodu. Daudzuzdevumu darbs, kas aizpilda datubāzi, automatizēta cauruļvads, kam pirms darbības jāparsē pilna atbilde, vai izsaukums, kas atgriež tikai dažus vārdus: visos šajos gadījumos klasiskais izsaukums (viens pieprasījums, viena pilna atbilde) paliek vienkāršāk rakstāms, testējams un atkļūdojams.

Kļūdu apstrāde straumēšanas režīmā

Straumēšanas režīmā kļūdas var rasties plūsmas vidū. Tavam kodam ir jāspēj apstrādāt šādus pārtraukumus:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Galvenās atziņas

  • Pievieno stream=True, lai saņemtu tokenus to ģenerēšanas brīdī
  • Izmantotais protokols ir SSE (Server-Sent Events)
  • Python valodā iterē pār fragmentiem un izvadi delta.content
  • Izmantojot cURL, lieto -N, lai izslēgtu buferizāciju
  • Izmanto straumēšanu tikai gadījumos, kad pakāpeniska attēlošana pievieno vērtību