Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Streaming SSE

Lekcija 5 od 16 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Odgovori u stvarnom vremenu pomoću Server-Sent Eventsa
  2. Streaming naspram nestreaminga
  3. Protokol SSE u detalje
  4. Omogući streaming u Pythonu
  5. Struktura chunka
  6. Rekonstrukcija potpunog odgovora
  7. Kada koristiti streaming
  8. Ključne točke

Odgovori u stvarnom vremenu pomoću Server-Sent Eventsa

Zadano, API za dovršavanje razgovora (Chat Completions API) čeka da model završi generiranje cijelog odgovora prije nego što ga pošalje natrag tebi. Za kratko pitanje, nitko ne primijeti kašnjenje. No, za izvještaj od tisuću riječi, to znači nekoliko sekundi praznog zaslona, zbog čega se korisnik pita je li aplikacija prestala raditi. Streaming rješava ovaj problem slanjem tokena čim se generiraju, stvarajući poznati efekt pisaćeg stroja viđen u sučeljiima za razgovor.

Protokol koji se koristi su Server-Sent Events (SSE), HTTP standard koji omogućuje poslužitelju kontinuirano guranje podataka klijentu preko trajne veze. Ovdje nema ničeg egzotičnog: nema WebSocketsa za instalaciju, nema dodatnih ovisnosti.

Streaming naspram nestreaminga

U načinu rada bez streaminga, koji je zadani, klijent šalje zahtjev i čeka potpuni odgovor:

Client ──── request ────► Server
         (wait 3-10s)
Client ◄── complete response ── Server

Prednost je jednostavnost: odgovor je atomaran, jedan JSON objekt koji je lako obraditi, validirati i pohraniti. Nedostatak je jednako jasan: percipirana latencija je visoka jer korisnik ne vidi ništa tijekom cijelog procesa generiranja.

U načinu rada sa streamingom, poslužitelj šalje tokene jedan po jedan ili u malim grupama:

Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server  (after ~200ms)
Client ◄── chunk 2 ─────── Server  (after ~250ms)
Client ◄── chunk 3 ─────── Server  (after ~300ms)
...
Client ◄── [DONE] ──────── Server

Percipirana latencija drastično pada – prvi se znak pojavljuje unutar nekoliko stotina milisekundi – što značajno poboljšava korisničko iskustvo. Zauzvrat, moraš rekonstruirati poruku na strani klijenta i upravljati stanjem koje više ne stiže kao jedan blok.

Protokol SSE u detalje

Evo kako zapravo izgleda HTTP stream koji primaš:

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}

data: [DONE]

Svaki redak započinje s data: nakon kojeg slijedi JSON objekt, a prazni redovi služe kao razdjelnici između događaja. Obrati pozornost na detalj u koji svi upadnu pri prvoj implementaciji: tekstualni fragment nalazi se u polju delta, a ne u message kao u klasičnom načinu rada. Stream završava događajem data: [DONE], koji eksplicitno signalizira kraj. Bez njega ne bi mogao razlikovati završeno generiranje od prekinute veze.

Omogući streaming u Pythonu

S Mistral SDK-om streaming omogućuješ pozivanjem chat.stream() umjesto chat.complete():

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Explain how an electric motor works."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

print()  # Final newline

Argument flush=True zaslužuje objašnjenje, jer je njegovo zaboravljanje klasični uzrok streaminga koji „ne radi“. Bez njega, Python drži znakove u međuspremniku i prikazuje ih u blokovima. Time se vizualno poništavaju sve prednosti streaminga, iako chunkovi stižu ispravno.

Struktura chunka

Streaming chunk ne čita se kao potpuni odgovor, a putovi pristupa se razlikuju:

# Non-streaming: response.choices[0].message.content
# Streaming:     chunk.data.choices[0].delta.content

# The first chunk often contains the role
# chunk.data.choices[0].delta.role == "assistant"

# Subsequent chunks contain text fragments
# chunk.data.choices[0].delta.content == "Hello"

# The last chunk contains finish_reason
# chunk.data.choices[0].finish_reason == "stop"

Prvi chunk obično nosi ulogu bez teksta, sljedeći nose fragmente, a posljednji pruža finish_reason. Zato provjera if content: u prethodnom kodu nije nepotrebna mjera opreza: spajanje vrijednosti None uzrokovalo bi neuspjeh petlje već u prvoj iteraciji.

Rekonstrukcija potpunog odgovora

Prikazivanje fragmenata nije dovoljno kada trebaš zadržati odgovor – na primjer, da bi ga dodao u povijest razgovora, zabilježio ga ili pohranio u bazu podataka. Stoga moraš akumulirati tekst paralelno s njegovim prikazivanjem:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 5 programming languages."}]
)

full_response = ""
finish_reason = None

for chunk in stream:
    delta = chunk.data.choices[0].delta
    if delta.content:
        full_response += delta.content
        print(delta.content, end="", flush=True)

    if chunk.data.choices[0].finish_reason:
        finish_reason = chunk.data.choices[0].finish_reason

print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")

Varijabla finish_reason hvata se u istoj petlji iz istog razloga kao i u klasičnom načinu rada: odgovor skraćen pomoću max_tokens na zaslonu izgleda točno kao potpuni odgovor, a samo će ti ovo polje reći koja je razlika.

Kada koristiti streaming

Streaming nije uvijek bolji. Preporučuje se kad god čovjek gleda u zaslon, ali je suvišan ili čak štetan kada stroj obrađuje izlaz.

Slučaj upotrebePreporuka
Interaktivni chatbotStreaming (bolje korisničko iskustvo)
Grupna obradaBez streaminga (jednostavnije)
Backend API za frontendStreaming (SSE prema pregledniku)
Cjevovod podatakaBez streaminga (atomarna obrada)
Strukturirana ekstrakcijaBez streaminga (pouzdanije parsiranje JSON-a)

Posljednji slučaj je najpoučniji. Ako očekuješ JSON, streaming ne dodaje ništa: ne možeš parsirati nepotpuni objekt i ionako ćeš morati pričekati posljednji fragment. Jednako tako možeš zadržati poziv atomarnim, a kod jednostavnim.

Ključne točke

  • Streaming smanjuje percipiranu latenciju slanjem tokena čim se generiraju
  • Protokol SSE jednostavan je i robustan HTTP standard
  • U načinu rada sa streamingom koristi delta.content umjesto message.content
  • Akumuliraj fragmente na strani klijenta kako bi rekonstruirao potpuni odgovor
  • Daj prednost streamingu za korisnička sučelja, a načinu bez streaminga za automatiziranu obradu