SSE voogedastus
Sellel lehel
Reaalajas vastused serveri saadetud sündmustega (SSE)
Vaikimisi ootab vestluse täiendamise API (Chat Completions API), kuni mudel on kogu vastuse genereerimise lõpetanud, ja saadab selle alles siis sulle tagasi. Lühikese küsimuse puhul keegi viivitust ei märka. Tuhande sõna pikkuse raporti puhul tähendab see aga mitut sekundit tühja ekraani, jättes kasutaja mõtlema, kas rakendus on kokku jooksnud. Voogedastus lahendab selle probleemi, saates tokenid nende genereerimise käigus, luues vestlusliidestest tuttava kirjutusmasina efekti.
Kasutatav protokoll on Server-Sent Events (SSE), HTTP-standard, mis võimaldab serveril pideva ühenduse kaudu kliendile andmeid pidevalt edastada. Siin pole midagi eksootilist: pole vaja paigaldada WebSockete ega lisada sõltuvusi.
Voogedastus vs mitte-voogedastus
Mitte-voogedastusrežiimis, mis on vaikeseade, saadab klient päringu ja ootab terviklikku vastust:
Client ──── request ────► Server
(wait 3-10s)
Client ◄── complete response ── Server
Eeliseks on lihtsus: vastus on aatomne, üksainus JSON-objekt, mida on lihtne töödelda, valideerida ja salvestada. Puudus on sama ilmne: tajutav latentsus on suur, sest kasutaja ei näe kogu genereerimisprotsessi vältel midagi.
Voogedastusrežiimis saadab server tokeneid ükshaaval või väikeste rühmadena:
Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server (after ~200ms)
Client ◄── chunk 2 ─────── Server (after ~250ms)
Client ◄── chunk 3 ─────── Server (after ~300ms)
...
Client ◄── [DONE] ──────── Server
Tajutav latentsus väheneb drastiliselt – esimene märk ilmub mõnesaja millisekundi jooksul – parandades oluliselt kasutajakogemust. Tasuks pead sõnumi kliendipoolselt uuesti kokku panema ja haldama olekut, mis ei saabu enam ühe plokina.
SSE protokoll lähemalt
Nii näeb välja HTTP-voog, mida tegelikult vastu võtad:
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}
data: [DONE]
Iga rida algab eesliitega data: , millele järgneb JSON-objekt, ning tühjad read toimivad sündmuste eraldajatena. Pane tähele detaili, millesse igaüks oma esimesel implementeerimisel komistab: tekstifragment asub väljal delta, mitte message, nagu klassikalises režiimis. Voog lõpeb sündmusega data: [DONE], mis annab selgelt märku lõpust. Ilma selleta ei suudaks sa eristada lõpetatud genereerimist katkenud ühendusest.
Voogedastuse lubamine Pythonis
Mistrali SDK-ga lubad voogedastuse, kutsumes meetodit chat.stream() meetodi chat.complete() asemel:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Explain how an electric motor works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Final newline
Argument flush=True vajab selgitust, sest selle unustamine on klassikaline põhjus, miks voogedastus „ei tööta“. Ilma selleta hoiab Python märke puhvris ja kuvab need plokkidena. See tühistab visuaalselt kõik voogedastuse eelised, isegi kui tükid jõuavad kohale õigesti.
Tüki struktuur
Voogedastuse tükk ei sarnane tervikliku vastusega ja juurdepääsuteed erinevad:
# Mitte-voogedastus: response.choices[0].message.content
# Voogedastus: chunk.data.choices[0].delta.content
# Esimene tükk sisaldab sageli rolli
# chunk.data.choices[0].delta.role == "assistant"
# Järgnevad tükid sisaldavad tekstifragmente
# chunk.data.choices[0].delta.content == "Hello"
# Viimane tükk sisaldab finish_reason väärtust
# chunk.data.choices[0].finish_reason == "stop"
Esimene tükk kannab tavaliselt rolli ilma tekstita, järgnevad kannavad fragmente ja viimane annab finish_reason väärtuse. Seetõttu ei ole eelmises koodis olev if content: kontroll asjatu ettevaatusabinõu: None väärtuse liitmine põhjustaks tsükli esimesel iteratsioonil tõrke.
Tervikliku vastuse rekonstrueerimine
Fragmentide kuvamisest ei piisa, kui pead vastust säilitama – näiteks lisama selle vestlusajalukku, logima või andmebaasi salvestama. Seetõttu pead teksti kuvamisega paralleelselt akumuleerima:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 5 programming languages."}]
)
full_response = ""
finish_reason = None
for chunk in stream:
delta = chunk.data.choices[0].delta
if delta.content:
full_response += delta.content
print(delta.content, end="", flush=True)
if chunk.data.choices[0].finish_reason:
finish_reason = chunk.data.choices[0].finish_reason
print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")
Muutuja finish_reason püütakse samas tsüklis samal põhjusel nagu klassikalises režiimis: max_tokens poolt lühendatud vastus ilmub ekraanile täpselt nagu terviklik vastus ja ainult see väli annab teada erinevusest.
Millal kasutada voogedastust
Voogedastus pole alati parem. See on soovitatav, kui inimene vaatab ekraani, kuid on masintöötluse puhul ülearune või isegi kahjulik.
| Kasutusjuhtum | Soovitus |
|---|---|
| Interaktiivne vestlusrobot | Voogedastus (parem kasutajakogemus) |
| Partii töötlemine | Mitte-voogedastus (lihtsam) |
| Taustasüsteemi API kasutajaliidesele | Voogedastus (SSE brauserisse) |
| Andmetöötlusvoog | Mitte-voogedastus (atoomne töötlemine) |
| Struktureeritud ekstraheerimine | Mitte-voogedastus (usaldusväärsem JSON-i parsimine) |
Viimane juhtum on kõige õpetlikum. Kui ootad JSON-i, ei lisa voogedastus midagi: mittetäielikku objekti ei saa parsida ja pead niikuinii ootama viimast fragmenti. Võid sama hästi jätta väljakutse aatomseks ja koodi lihtsaks.
Peamised punktid
- Voogedastus vähendab tajutavat latentsust, saates tokenid nende genereerimise käigus
- SSE protokoll on lihtne ja töökindel HTTP-standard
- Voogedastusrežiimis kasuta
delta.contentasemelmessage.content - Akumuleeri fragmendid kliendipoolselt, et rekonstrueerida terviklik vastus
- Eelista voogedastust kasutajaliideste jaoks ja mitte-voogedastust automatiseeritud töötlemisel