Lähe põhisisu juurde
Eesti— Vali keel
Menüü

SSE voogedastus

Õppetund 5 / 16 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Reaalajas vastused serveri saadetud sündmustega (SSE)
  2. Voogedastus vs mitte-voogedastus
  3. SSE protokoll lähemalt
  4. Voogedastuse lubamine Pythonis
  5. Tüki struktuur
  6. Tervikliku vastuse rekonstrueerimine
  7. Millal kasutada voogedastust
  8. Peamised punktid

Reaalajas vastused serveri saadetud sündmustega (SSE)

Vaikimisi ootab vestluse täiendamise API (Chat Completions API), kuni mudel on kogu vastuse genereerimise lõpetanud, ja saadab selle alles siis sulle tagasi. Lühikese küsimuse puhul keegi viivitust ei märka. Tuhande sõna pikkuse raporti puhul tähendab see aga mitut sekundit tühja ekraani, jättes kasutaja mõtlema, kas rakendus on kokku jooksnud. Voogedastus lahendab selle probleemi, saates tokenid nende genereerimise käigus, luues vestlusliidestest tuttava kirjutusmasina efekti.

Kasutatav protokoll on Server-Sent Events (SSE), HTTP-standard, mis võimaldab serveril pideva ühenduse kaudu kliendile andmeid pidevalt edastada. Siin pole midagi eksootilist: pole vaja paigaldada WebSockete ega lisada sõltuvusi.

Voogedastus vs mitte-voogedastus

Mitte-voogedastusrežiimis, mis on vaikeseade, saadab klient päringu ja ootab terviklikku vastust:

Client ──── request ────► Server
         (wait 3-10s)
Client ◄── complete response ── Server

Eeliseks on lihtsus: vastus on aatomne, üksainus JSON-objekt, mida on lihtne töödelda, valideerida ja salvestada. Puudus on sama ilmne: tajutav latentsus on suur, sest kasutaja ei näe kogu genereerimisprotsessi vältel midagi.

Voogedastusrežiimis saadab server tokeneid ükshaaval või väikeste rühmadena:

Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server  (after ~200ms)
Client ◄── chunk 2 ─────── Server  (after ~250ms)
Client ◄── chunk 3 ─────── Server  (after ~300ms)
...
Client ◄── [DONE] ──────── Server

Tajutav latentsus väheneb drastiliselt – esimene märk ilmub mõnesaja millisekundi jooksul – parandades oluliselt kasutajakogemust. Tasuks pead sõnumi kliendipoolselt uuesti kokku panema ja haldama olekut, mis ei saabu enam ühe plokina.

SSE protokoll lähemalt

Nii näeb välja HTTP-voog, mida tegelikult vastu võtad:

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}

data: [DONE]

Iga rida algab eesliitega data: , millele järgneb JSON-objekt, ning tühjad read toimivad sündmuste eraldajatena. Pane tähele detaili, millesse igaüks oma esimesel implementeerimisel komistab: tekstifragment asub väljal delta, mitte message, nagu klassikalises režiimis. Voog lõpeb sündmusega data: [DONE], mis annab selgelt märku lõpust. Ilma selleta ei suudaks sa eristada lõpetatud genereerimist katkenud ühendusest.

Voogedastuse lubamine Pythonis

Mistrali SDK-ga lubad voogedastuse, kutsumes meetodit chat.stream() meetodi chat.complete() asemel:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Explain how an electric motor works."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

print()  # Final newline

Argument flush=True vajab selgitust, sest selle unustamine on klassikaline põhjus, miks voogedastus „ei tööta“. Ilma selleta hoiab Python märke puhvris ja kuvab need plokkidena. See tühistab visuaalselt kõik voogedastuse eelised, isegi kui tükid jõuavad kohale õigesti.

Tüki struktuur

Voogedastuse tükk ei sarnane tervikliku vastusega ja juurdepääsuteed erinevad:

# Mitte-voogedastus: response.choices[0].message.content
# Voogedastus:      chunk.data.choices[0].delta.content

# Esimene tükk sisaldab sageli rolli
# chunk.data.choices[0].delta.role == "assistant"

# Järgnevad tükid sisaldavad tekstifragmente
# chunk.data.choices[0].delta.content == "Hello"

# Viimane tükk sisaldab finish_reason väärtust
# chunk.data.choices[0].finish_reason == "stop"

Esimene tükk kannab tavaliselt rolli ilma tekstita, järgnevad kannavad fragmente ja viimane annab finish_reason väärtuse. Seetõttu ei ole eelmises koodis olev if content: kontroll asjatu ettevaatusabinõu: None väärtuse liitmine põhjustaks tsükli esimesel iteratsioonil tõrke.

Tervikliku vastuse rekonstrueerimine

Fragmentide kuvamisest ei piisa, kui pead vastust säilitama – näiteks lisama selle vestlusajalukku, logima või andmebaasi salvestama. Seetõttu pead teksti kuvamisega paralleelselt akumuleerima:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 5 programming languages."}]
)

full_response = ""
finish_reason = None

for chunk in stream:
    delta = chunk.data.choices[0].delta
    if delta.content:
        full_response += delta.content
        print(delta.content, end="", flush=True)

    if chunk.data.choices[0].finish_reason:
        finish_reason = chunk.data.choices[0].finish_reason

print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")

Muutuja finish_reason püütakse samas tsüklis samal põhjusel nagu klassikalises režiimis: max_tokens poolt lühendatud vastus ilmub ekraanile täpselt nagu terviklik vastus ja ainult see väli annab teada erinevusest.

Millal kasutada voogedastust

Voogedastus pole alati parem. See on soovitatav, kui inimene vaatab ekraani, kuid on masintöötluse puhul ülearune või isegi kahjulik.

KasutusjuhtumSoovitus
Interaktiivne vestlusrobotVoogedastus (parem kasutajakogemus)
Partii töötlemineMitte-voogedastus (lihtsam)
Taustasüsteemi API kasutajaliideseleVoogedastus (SSE brauserisse)
AndmetöötlusvoogMitte-voogedastus (atoomne töötlemine)
Struktureeritud ekstraheerimineMitte-voogedastus (usaldusväärsem JSON-i parsimine)

Viimane juhtum on kõige õpetlikum. Kui ootad JSON-i, ei lisa voogedastus midagi: mittetäielikku objekti ei saa parsida ja pead niikuinii ootama viimast fragmenti. Võid sama hästi jätta väljakutse aatomseks ja koodi lihtsaks.

Peamised punktid

  • Voogedastus vähendab tajutavat latentsust, saates tokenid nende genereerimise käigus
  • SSE protokoll on lihtne ja töökindel HTTP-standard
  • Voogedastusrežiimis kasuta delta.content asemel message.content
  • Akumuleeri fragmendid kliendipoolselt, et rekonstrueerida terviklik vastus
  • Eelista voogedastust kasutajaliideste jaoks ja mitte-voogedastust automatiseeritud töötlemisel