Srautinis SSE perdavimas
Šiame puslapyje
Realaus laiko atsakymai naudojant serverio siunčiamus įvykius
Pagal numatytuosius nustatymus „Chat Completions“ API laukia, kol modelis sugeneruoja visą atsakymą, ir tik tada jį grąžina tau. Trumpam klausimui šis delsas nepastebimas. Tačiau tūkstančio žodžių ataskaitos atveju tai reiškia kelias sekundes tuščio ekrano, dėl ko vartotojas gali pagalvoti, kad programa užstrigo. Srautinis perdavimas išsprendžia šią problemą siųsdamas tokenus jiems generuojantis, taip sukurdamas pažįstamą rašomosios mašinėlės efektą, matomą pokalbių sąsajose.
Naudojamas protokolas yra Server-Sent Events (SSE) – HTTP standartas, leidžiantis serveriui nuolat siųsti duomenis klientui per išlaikomą ryšį. Čia nėra nieko egzotiško: nereikia diegti „WebSocket“, nereikia jokių papildomų dependencijų.
Srautinis perdavimas prieš nesrautinį
Nesrautiniu režimu, kuris yra numatytasis, klientas išsiunčia užklausą ir laukia viso atsakymo:
Client ──── request ────► Server
(wait 3-10s)
Client ◄── complete response ── Server
Privalumas – paprastumas: atsakymas yra atominis, vienas JSON objektas, kurį lengva apdoroti, patikrinti ir saugoti. Trūkumas taip pat akivaizdus: suvokiamas delsas yra didelis, nes vartotojas visos generavimo proceso metu nemato nieko.
Srautiniu režimu serveris siunčia tokenus po vieną arba mažomis grupėmis:
Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server (after ~200ms)
Client ◄── chunk 2 ─────── Server (after ~250ms)
Client ◄── chunk 3 ─────── Server (after ~300ms)
...
Client ◄── [DONE] ──────── Server
Suvokiamas delsas drastiškai sumažėja – pirmasis simbolis pasirodo per kelias šimtas milisekundžių, taip žymiai pagerinant vartotojo patirtį. Mainais tau tenka kliento pusėje iš naujo surinkti žinutę ir valdyti būseną, kuri nebeatvyksta kaip vienas blokas.
SSE protokolas išsamiau
Štai kaip iš tikrųjų atrodo gaunamas HTTP srautas:
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}
data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}
data: [DONE]
Kiekviena eilutė prasideda data: , po kurio seka JSON objektas, o tuščios eilutės tarnauja kaip skirtukai tarp įvykių. Atkreipk dėmesį į detalę, į kurią visi įstringa pirmojo įgyvendinimo metu: teksto fragmentas yra delta lauke, o ne message, kaip klasikiniame režime. Srautas baigiasi data: [DONE] įvykiu, kuris aiškiai signalizuoja pabaigą. Be jo negalėtum atskirti baigtos generacijos nuo nutraukto ryšio.
Srautinio perdavimo įjungimas „Python“ kalba
Naudodamas „Mistral SDK“, srautinį perdavimą įjungiate kviesdami chat.stream() vietoj chat.complete():
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Explain how an electric motor works."}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print() # Final newline
Argumentas flush=True nusipelno paaiškinimo, nes jo pamiršimas yra klasikinė priežastis, kodėl srautinis perdavimas „neveikia“. Be jo, „Python“ laiko simbolius buferyje ir rodo juos blokais. Tai vizualiai panaikina visus srautinio perdavimo privalumus, net jei fragmentai atvyksta tinkamai.
Fragmento struktūra
Srautinis fragmentas skaitomas kitaip nei pilnas atsakymas, o prieigos keliai skiriasi:
# Non-streaming: response.choices[0].message.content
# Streaming: chunk.data.choices[0].delta.content
# The first chunk often contains the role
# chunk.data.choices[0].delta.role == "assistant"
# Subsequent chunks contain text fragments
# chunk.data.choices[0].delta.content == "Hello"
# The last chunk contains finish_reason
# chunk.data.choices[0].finish_reason == "stop"
Pirmasis fragmentas dažniausiai turi vaidmenį be teksto, vėlesni – teksto fragmentus, o paskutinis pateikia finish_reason. Štai kodėl ankstesniame kode esantis if content: patikrinimas nėra bereikalinga atsargumo priemonė: sujungus None reikšmę, ciklas žlugtų jau pirmoje iteracijoje.
Pilno atsakymo surinkimas
Fragmentų rodymo nepakanka, kai reikia išsaugoti atsakymą – pavyzdžiui, norint jį pridėti į pokalbio istoriją, užregistruoti žurnale arba įrašyti į duomenų bazę. Todėl tekstą turi kaupti lygiagrečiai jį rodant:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
stream = client.chat.stream(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 5 programming languages."}]
)
full_response = ""
finish_reason = None
for chunk in stream:
delta = chunk.data.choices[0].delta
if delta.content:
full_response += delta.content
print(delta.content, end="", flush=True)
if chunk.data.choices[0].finish_reason:
finish_reason = chunk.data.choices[0].finish_reason
print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")
Kintamasis finish_reason fiksuojamas tame pačiame cikle dėl tos pačios priežasties kaip ir klasikiniame režime: atsakymas, sutrumpintas dėl max_tokens, ekrane atrodo lygiai taip pat kaip ir pilnas atsakymas, ir tik šis laukas parodys skirtumą.
Kada naudoti srautinį perdavimą
Srautinis perdavimas ne visada yra geresnis. Jis rekomenduojamas, kai žmogus stebi ekraną, tačiau yra perteklinis ar net žalingas, kai išvestį apdoroja mašina.
| Naudojimo atvejis | Rekomendacija |
|---|---|
| Interaktyvus pokalbių robotas | Srautinis (geresnė vartotojo patirtis) |
| Grupinis apdorojimas | Nesrautinis (paprastesnis) |
| Vidinis API front-endui | Srautinis (SSE į naršyklę) |
| Duomenų vamzdynas | Nesrautinis (atominis apdorojimas) |
| Struktūruotas išgavimas | Nesrautinis (patikimesnis JSON analizavimas) |
Paskutinis atvejis yra labiausiai pamokomas. Jei tikiesi gauti JSON, srautinis perdavimas nieko neduoda: negali analizuoti neužbaigto objekto ir vis tiek turėsi laukti paskutinio fragmento. Geriau jau palikti kvietimą atominiu, o kodą – paprastą.
Svarbiausi punktai
- Srautinis perdavimas sumažina suvokiamą delsą siųsdamas tokenus jiems generuojantis
- SSE protokolas yra paprastas ir patikimas HTTP standartas
- Srautiniu režimu naudok
delta.contentvietojmessage.content - Kliento pusėje kaupk fragmentus, kad surinktum pilną atsakymą
- Teik pirmenybę srautiniam perdavimui vartotojo sąsajose, o nesrautiniam – automatizuotam apdorojimui