Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

SSE srautinis perdavimas

Paskaita 10 iš 14 Atnaujinta 2026 m. liepos 30 d. Kūrėjas
Šiame puslapyje
  1. Gauk atsakymus realiuoju laiku
  2. Kaip veikia srautinis perdavimas
  3. Srautinis perdavimas „Python“ kalba naudojant „OpenAI“ SDK
  4. Srautinis perdavimas naudojant /v1/responses galinį tašką
  5. Srautinis perdavimas naudojant cURL
  6. Kada naudoti srautinį perdavimą
  7. Klaidų apdorojimas srautiniu režimu
  8. Svarbiausi punktai

Gauk atsakymus realiuoju laiku

Pagal nutylėjimą API laukia, kol bus sugeneruotas visas atsakymas, ir tik tada jį grąžina. Naudojant srautinį perdavimą, gauni žetonus jiems generuojantis. Ši technika sumažina naudotojų laukimo laiką ir leidžia rodyti atsakymus palaipsniui, lygiai taip, kaip tai daro „Grok“ sąsaja.

Kaip veikia srautinis perdavimas

Srautiniam perdavimui naudojamas Server-Sent Events (SSE) protokolas. Vietoj vieno HTTP atsakymo serveris siunčia nenutrūkstamą įvykių srautą. Kiekviename įvykyje yra atsakymo fragmentas, o klientas juos surenka, kad atkurtų visą tekstą.

Parametras stream: true įjungia šį režimą bet kuriame generavimo galiniame taške.

Srautinis perdavimas „Python“ kalba naudojant „OpenAI“ SDK

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Galutinis eilutės lūžis

Kaip veikia kodas

  • stream=True įjungia srautinį perdavimą
  • Atsakymas yra chunk objektų (fragmentų) iteratorius
  • Kiekviename fragmente yra delta su nauju turiniu
  • end="" neleidžia atsirasti eilučių lūžiams tarp fragmentų
  • flush=True priverčia nedelsiant rodyti duomenis

Srautinis perdavimas naudojant /v1/responses galinį tašką

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Galinis taškas /v1/responses naudoja tipizuotus įvykius. Tipas response.output_text.delta zawiera tekstinius fragmentus.

Srautinis perdavimas naudojant cURL

cURL natūraliai palaiko SSE srautinį perdavimą. Į užklausos kūną įtrauk "stream": true:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Parametras -N išjungia cURL buferizavimą, kad įvykiai būtų rodomi iškart jiems atvykus.

Kiekviena SSE srauto eilutė prasideda data:, po kurio seka JSON objektas. Paskutinis įvykis yra data: [DONE], signalizuojantis generavimo pabaigą.

Kada naudoti srautinį perdavimą

Sprendimas priklauso nuo vieno klausimo: ar žmogus stebi, kaip atsiranda atsakymas? Jei taip (pokalbių robotas, asistentas, rašymo įrankis), srautinis perdavimas yra beveik privalomas: naudotojai mato tekstą atsirandantį žodis po žodžio, užuot žiūrėję į sustingusį ekraną. Ilgo atsakymo atveju skirtumas tarp „pirmas žodis per 300 ms“ ir „visas tekstas po 8 sekundžių“ lemia visą suvokiamą patirtį.

Jei niekas nestebi, srautinis perdavimas nieko neprideda ir tik apsunkina kodą. Grupinis darbas, užpildantis duomenų bazę, automatizuota grandinė, kuri prieš veikdama turi išanalizuoti visą atsakymą, arba kvietimas, grąžinantis tik kelis žodžius: visais šiais atvejais klasikinis kvietimas (viena užklausa, vienas pilnas atsakymas) lieka paprastesnis rašyti, testuoti ir derinti.

Klaidų apdorojimas srautiniu režimu

Srautiniu režimu klaidos gali įvykti srauto viduryje. Tavo kodas turi gebėti tvarkyti tokius nutrūkimus:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Svarbiausi punktai

  • Pridėk stream=True, kad gautum žetonus jiems generuojantis
  • Naudojamas protokolas yra SSE (Server-Sent Events)
  • „Python“ kalba iteruok per fragmentus ir spausdink delta.content
  • Naudojant cURL, naudok -N, kad išjungtum buferizavimą
  • Naudok srautinį perdavimą tik tais atvejais, kai palaipsnis rodymas suteikia pridėtinės vertės