Lähe põhisisu juurde
Eesti— Vali keel
Menüü

SSE voogedastus

Õppetund 10 / 14 Värskendatud 30. juuli 2026 Arendajatele
Sellel lehel
  1. Vastuste saamine reaalajas
  2. Kuidas voogedastus toimib
  3. Voogedastus Pythonis OpenAI SDK-ga
  4. Voogedastus lõpp-punktiga /v1/responses
  5. Voogedastus cURL-iga
  6. Millal voogedastust kasutada
  7. Veakäsitlus voogedastusel
  8. Peamised punktid

Vastuste saamine reaalajas

Vaikimisi ootab API, kuni kogu vastus on genereeritud, enne kui selle tagastab. Voogedastuse korral saad tokenid kätte kohe, kui need luuakse. See tehnika lühendab kasutaja tajutavat ooteaega ja võimaldab vastuseid kuvada järk-järgult, täpselt nagu Grok’i liideses.

Kuidas voogedastus toimib

Voogedastus kasutab Server-Sent Events (SSE) protokolli. Üheainsa HTTP-vastuse asemel saadab server pidevat sündmuste voogu. Iga sündmus sisaldab vastuse fragmenti ja klient paneb need kokku, et taastada terviktekst.

Parameeter stream: true lülitab selle režiimi sisse igas genereerimise lõpp-punktis.

Voogedastus Pythonis OpenAI SDK-ga

from openai import OpenAI
import os

client = OpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1"
)

stream = client.chat.completions.create(
    model="grok-4.5",
    messages=[
        {"role": "user", "content": "Explain the SOLID principles in programming."}
    ],
    stream=True
)

for chunk in stream:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

print()  # Final line break

Kuidas kood töötab

  • stream=True lülitab voogedastuse sisse
  • Vastus on chunk-objektide (fragmentide) iteraator
  • Iga tükk sisaldab deltat uue sisuga
  • end="" hoiab ära reavahetused fragmentide vahel
  • flush=True sunnib väljundi kohesele kuvamisele

Voogedastus lõpp-punktiga /v1/responses

stream = client.responses.create(
    model="grok-4.5",
    input="Describe the steps to deploy a web application.",
    stream=True
)

for event in stream:
    if hasattr(event, 'type') and event.type == 'response.output_text.delta':
        print(event.delta, end="", flush=True)

print()

Lõpp-punkt /v1/responses kasutab tüübitud sündmusi. Tüüp response.output_text.delta sisaldab tekstifragmente.

Voogedastus cURL-iga

cURL toetab SSE voogedastust loomupäraselt. Lisa päringu kehasse "stream": true:

curl -N https://api.x.ai/v1/chat/completions \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.5",
    "messages": [{"role": "user", "content": "Hello"}],
    "stream": true
  }'

Valik -N lülitab cURL-i puhverdamise välja, nii et sündmused kuvatakse kohe saabumisel.

Iga SSE voo rida algab sõnaga data: ja sellele järgneb JSON-objekt. Viimane sündmus on data: [DONE], mis annab märku genereerimise lõpust.

Millal voogedastust kasutada

Otsus taandub ühele küsimusele: kas inimene jälgib vastuse saabumist? Kui jah (vestlusrobot, assistent, kirjutamisriist), on voogedastus peaaegu kohustuslik: kasutajad näevad teksti sõna haaval ilmuvat, selle asemel et vahtida külmunud ekraani. Pika vastuse korral teeb erinevus „esimene sõna 300 ms pärast“ ja „kogu tekst 8 sekundi pärast“ kogu tajutava kogemuse.

Kui keegi ei jälgi, ei lisa voogedastus midagi ja muudab koodi keerulisemaks. Andmebaasi täitev partiiülesanne, automatiseeritud torustik, mis peab enne tegutsemist kogu vastuse parsima, või päring, mis tagastab vaid mõned sõnad: kõigil neil juhtudel jääb klassikaline kutse (üks päring, üks tervikvastus) lihtsamaks kirjutada, testida ja siluda.

Veakäsitlus voogedastusel

Voogedastusrežiimis võivad vead tekkida voo keskel. Sinu kood peab need katkestused ära käitlema:

try:
    stream = client.chat.completions.create(
        model="grok-4.5",
        messages=[{"role": "user", "content": "Test"}],
        stream=True
    )
    for chunk in stream:
        if chunk.choices[0].delta.content:
            print(chunk.choices[0].delta.content, end="")
except Exception as e:
    print(f"\nError during streaming: {e}")

Peamised punktid

  • Lisa stream=True, et saada tokenid nende genereerimise käigus
  • Kasutatav protokoll on SSE (Server-Sent Events)
  • Pythonis iterreeri tükkide üle ja prindi delta.content
  • cURL-i kasutamisel lülita puhverdamine välja valikuga -N
  • Kasuta voogedastust ainult juhtudel, kus järkjärguline kuvamine lisab väärtust