Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Streaming odgovora u Pythonu

Lekcija 6 od 14 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Problem koji streaming rješava
  2. Korištenje metode chat.stream()
  3. Što sadrži dio (chunk)
  4. Istovremeno prikazivanje i spremanje
  5. Asinkrona varijanta
  6. Kada koristiti streaming, a kada ga preskočiti
  7. Ključne točke

Problem koji streaming rješava

Kod chat.complete(), čekaš da model generira cijeli odgovor prije nego što primiš ijedan znak. Za kratke odgovore to kašnjenje prolazi nezapaženo. No, za detaljnu analizu, dugački isječak koda ili rezoniranje u više odlomaka, korisnik bulji u prazan ekran nekoliko sekundi. U sučelju za chat, čak i nekoliko sekundi tišine može stvoriti dojam da je aplikacija zamrznuta.

Streaming mijenja tu percepciju: odgovor stiže inkrementalno, dio po dio, i prikazuje se progresivno, baš kao u chat sučeljima koja poznaješ. Ukupno vrijeme generiranja ne smanjuje se ni za milisekundu, ali se prva riječ pojavljuje gotovo odmah. Upravo to početno kašnjenje korisnik najviše osjeća.

Korištenje metode chat.stream()

Mistral SDK V2 izlaže metodu chat.stream() koja vraća iterator dijelova umjesto jednog objekta:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Dva detalja u ovoj petlji čine svu razliku. Provjera if content ključna je jer neki dijelovi stižu bez teksta i inače bi ispisali None. Opcija flush=True prisiljava Python da odmah upiše podatke na izlaz umjesto da čeka da se međuspremnik napuni. Bez nje, sav bi se tekst pojavio u jednom bloku na kraju, čime bi se potpuno poništila prednost koju želiš postići.

Aspektchat.complete()chat.stream()
Povratna vrijednostCijeli objektIterator dijelova
Percipirana latencijaVisoka (ukupno čekanje)Niska (brzi prvi token)
Pristup teksturesponse.choices[0].message.contentchunk.data.choices[0].delta.content
Upotreba tokenaDostupno u odgovoruDostupno u posljednjem dijelu

Što sadrži dio (chunk)

Svaki dio nosi delta, što znači fragment odgovora koji je u izradi. Njegovim ispitivanjem pristupaš i tekstu i metapodacima o kraju streama:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Tekstualni sadržaj (može biti None za neke dijelove)
    text = delta.content

    # Razlog zaustavljanja (None osim za posljednji dio)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Tijek uvijek slijedi istu koreografiju: prvi dio obično nosi ulogu assistant, međudijelovi isporučuju tekst u malim komadima, a posljednji pruža finish_reason. Provjerom tog posljednjeg dijela utvrđuješ je li odgovor završio normalno ili je prekinut zbog max_tokens.

Istovremeno prikazivanje i spremanje

Streaming ima manu: tekst se brzo odvija, ali ga nigdje ne zadržavaš. Ipak, aplikacija u stvarnom svijetu često treba arhivirati odgovor u bazu podataka radi povijesti razgovora. Rješenje je akumuliranje fragmenata dok ih prikazuješ:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# Rekonstruirani puni odgovor
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Obrati pažnju na korištenje liste praćeno konačnim "".join() umjesto spajanja nizova u svakoj iteraciji petlje. Kod dugih odgovora, potonji pristup kopira sav akumulirani tekst za svaki primljeni fragment, što je neučinkovito.

Asinkrona varijanta

U web poslužitelju – FastAPI, aiohttp – sinkrona verzija blokira nit tijekom cijelog generiranja, zamrzavajući druge aktivne zahtjeve. Stoga SDK nudi chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Struktura je identična sinkronoj verziji, osim ključnih riječi await i async for. Čim tvoj kod radi unutar web poslužitelja, ovo je varijanta koju moraš koristiti.

Kada koristiti streaming, a kada ga preskočiti

U sučelju za chat, streaming je uvijek obavezan: radi se o udobnosti čitanja. Na strani backend API-ja, vrijedi ga omogućiti sve dok tvoje frontend sučelje može konzumirati Server-Sent Events. Za bilo koji odgovor duži od nekoliko rečenica, dobitak u percipiranoj latenciji opravdava dodanu složenost. Suprotno tome, u skripti za grupnu obradu koja procesira tisuću dokumenata i piše rezultate u datoteku, nitko ne gleda u ekran: chat.complete() ostaje jednostavniji i sasvim adekvatan.

Ključne točke

  • chat.stream() vraća iterator dijelova za progresivni prikaz
  • Sadržaj se nalazi u chunk.data.choices[0].delta.content
  • Koristi flush=True u svojim pozivima print() za prikaz u stvarnom vremenu
  • Rekonstruiraj puni odgovor akumuliranjem dijelova ako je potrebno
  • Asinkrona verzija chat.stream_async() preporučuje se za web aplikacije