Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Vastuste voogedastamine Pythonis

Õppetund 6 / 14 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Probleem, mida voogedastamine lahendab
  2. Meetodi chat.stream() kasutamine
  3. Mida tükk sisaldab
  4. Samaaegne kuvamine ja salvestamine
  5. Asünkroonne variant
  6. Millal voogedastada ja millal mitte
  7. Peamised punktid

Probleem, mida voogedastamine lahendab

Kasutades meetodit chat.complete(), ootad, kuni mudel on kogu vastuse genereerinud, enne kui saad esimese tähemärgi. Lühikese vastuse puhul seda viivitust ei märka. Kui aga tegemist on üksikasjaliku analüüsi, pika koodilõigu või mitme lõigu pikkuse arutluskäiguga, vaatab kasutaja mitu sekundit tühjale ekraanile. Vestlusliideses võib isegi mõnesekundiline vaikus jätta mulje, nagu oleks rakendus hangunud.

Voogedastamine muudab seda tajumist: vastus saabub järk-järgult, tükkide kaupa, ja kuvatakse progressiivselt, täpselt nagu sinule tuttavates vestlusliidesedes. Kogu genereerimise aeg ei lühene mitte millisekundigi võrra, kuid esimene sõna ilmub peaaegu koheselt. Just seda algset viivitust tunneb kasutaja kõige teravamalt.

Meetodi chat.stream() kasutamine

Mistrali SDK V2 pakub meetodit chat.stream(), mis tagastab tükkide iteraatori ühe objekti asemel:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Selles tsüklis teevad kõik muutuse kaks detaili. Kontroll if content on hädavajalik, sest mõned tükid saabuva ilma tekstita ja muidu prindiks need None. Parameeter flush=True sunnib Pythonit väljundisse viivitamatult kirjutama, ootamata, kuni puhver täitub. Ilma selleta ilmuks kogu tekst lõpus ühe plokina, mis tühistaks täielikult selle, mida sa saavutada püüad.

Aspektchat.complete()chat.stream()
TagastusTäielik objektTükkide iteraator
Tajutav latentsusKõrge (kogu ooteaeg)Madal (kiire esimene token)
Tekstile juurdepääsresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Tokenite kasutusSaadaval vastusesSaadaval viimases tükis

Mida tükk sisaldab

Iga tükk kannab endas deltat, mis tähendab fragmenti koostatavast vastusest. Seda uurides pääsed ligi nii tekstile kui ka voogu lõpetavale metaandmele:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Tekstisisu (võib mõne tüki puhul olla None)
    text = delta.content

    # Peatumise põhjus (None, välja arvatud viimase tüki puhul)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Voog järgib alati sama koreograafiat: esimene tükk kannab tavaliselt rolli assistant, vahepealsed tükid edastavad teksti väikeste tükkidena ja viimane annab finish_reason. Kontrollides seda viimast tükki, saad teada, kas vastus lõppes normaalselt või katkestati see max_tokens piirangu tõttu.

Samaaegne kuvamine ja salvestamine

Voogedastamisel on üks puudus: tekst kerib mööda, kuid sa ei hoia seda kusagil alles. Reaalses rakenduses on aga sageli vaja vastust vestlusajaloo jaoks andmebaasi arhiveerida. Lahenduseks on fragmentide kogumine samaaegselt nende kuvamisega:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# Taastatud täielik vastus
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Pane tähele, et kasutame listi ja lõplikku "".join() meetodit, mitte stringide liitmist igas tsükli iteratsioonis. Pika vastuse puhul kopeerib viimane lähenemine iga saadud fragmendi jaoks kogu seni kogutud teksti, mis on ebaefektiivne.

Asünkroonne variant

Veebiserveris (näiteks FastAPI, aiohttp) blokeerib sünkroonne versioon lõime kogu genereerimise ajaks, külmutades teised käimasolevad päringud. Seetõttu pakub SDK meetodit chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Struktuur on identne sünkroonse versiooniga, välja arvatud märksõnad await ja async for. Niipea kui su kood jookseb veebiserveris, on see variant, mida pead kasutama.

Millal voogedastada ja millal mitte

Vestlusliideses on voogedastamine alati kohustuslik: kaalul on lugemismugavus. Tagaotsa API poolel tasub see sisse lülitada seni, kuni su kasutajaliides suudab tarbida Server-Sent Evente. Mis tahes vastuse puhul, mis on pikem kui mõned laused, õigustab tajutava latentsuse vähenemine lisanduvat keerukust. Vastupidi, kui tegemist on pakett-skriptiga, mis töötleb tuhandet dokumenti ja kirjutab tulemused faili, ei vaata keegi ekraani: chat.complete() jääb lihtsamaks ja täiesti piisavaks lahenduseks.

Peamised punktid

  • chat.stream() tagastab progressiivseks kuvamiseks tükkide iteraatori
  • Sisu asub aadressil chunk.data.choices[0].delta.content
  • Reaalajas kuvamiseks kasuta oma print() väljakutsetes parameetrit flush=True
  • Vajadusel taasta täielik vastus, kogudes tükke
  • Veebirakenduste jaoks on soovitatav kasutada asünkroonset varianti chat.stream_async()