Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Vastausten suoratoisto Pythonissa

Oppitunti 6 / 14 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Ongelma, jonka suoratoisto ratkaisee
  2. Metodien chat.stream() käyttö
  3. Mitä osa sisältää
  4. Näyttäminen ja tallentaminen samanaikaisesti
  5. Asynkroninen muunnos
  6. Milloin käyttää suoratoistoa ja milloin jättää se väliin
  7. Keskeiset asiat

Ongelma, jonka suoratoisto ratkaisee

Kun käytät metodia chat.complete(), odotat mallin tuottavan koko vastauksen ennen kuin saat ensimmäisenkään merkin. Lyhyessä vastauksessa tämä viive jää huomaamatta. Mutta yksityiskohtaisessa analyysissä, pitkässä koodinpätkässä tai monikappaleisessa päättelyssä käyttäjä tuijottaa tyhjää näyttöä useita sekunteja. Keskustelukäyttöliittymässä jopa muutaman sekunnin hiljaisuus saa sovelluksen näyttämään jumiutuneelta.

Suoratoisto muuttaa tätä kokemusta: vastaus saapuu vähitellen, osissa, ja näkyy ruudulla pala palalta aivan kuten tutuissa keskustelukäyttöliittymissä. Kokonaisgenerointiaika ei lyhene millisekuntiakaan, mutta ensimmäinen sana ilmestyy näkyviin lähes välittömästi. Juuri tämä alkuperäinen viive on se, jonka käyttäjä todellisuudessa tuntee.

Metodien chat.stream() käyttö

Mistral SDK V2 tarjoaa metodin chat.stream(), joka palauttaa osien iteraattorin yhden objektin sijaan:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Tässä silmukassa kaksi yksityiskohtaa tekevät eron. Ehto if content on välttämätön, koska jotkin osat saapuvat ilman tekstiä ja muuten tulostaisivat arvon None. Parametri flush=True pakottaa Pythonin kirjoittamaan tulosteen välittömästi odottamatta puskurin täyttymistä. Ilman sitä koko teksti ilmestyisi yhtenä lohkona lopussa, mikä kumoaisi täysin tavoittelemasi hyödyn.

Näkökulmachat.complete()chat.stream()
PalautusarvoValmis objektiOsien iteraattori
Koettu viiveKorkea (koko odotusaika)Matala (nopea ensimmäinen token)
Tekstin käyttöresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Tokenien käyttöSaatavilla vastauksessaSaatavilla viimeisessä osassa

Mitä osa sisältää

Jokainen osa sisältää deltan, eli katkelman rakenteilla olevasta vastauksesta. Sitä tutkimalla pääset käsiksi sekä tekstiin että virran päättymiseen liittyviin metatietoihin:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Tekstisisältö (voi olla None joissakin osissa)
    text = delta.content

    # Pysäytyssyy (None paitsi viimeisessä osassa)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Virta noudattaa aina samaa koreografiaa: ensimmäinen osa sisältää yleensä roolin assistant, välivaiheen osat toimittavat tekstin pieninä palasina ja viimeinen osa tarjoaa arvon finish_reason. Tarkistamalla tämän viimeisen osan voit määrittää, päättyikö vastaus normaalisti vai katkesiko se parametrin max_tokens vuoksi.

Näyttäminen ja tallentaminen samanaikaisesti

Suoratoistolla on yksi haittapuoli: teksti vierii näytöllä, mutta et säilytä sitä missään. Todellisessa sovelluksessa vastaus on kuitenkin usein arkistoitava tietokantaan keskusteluhistoriaa varten. Ratkaisu on kerätä osat näytölle kirjoittamisen ohella:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# Uudelleen koottu täysi vastaus
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Huomaa listan käyttö ja lopullinen "".join() sen sijaan, että merkkijonoja yhdisteltäisiin jokaisella silmukan kierroksella. Pitkässä vastauksessa jälkimmäinen tapa kopioi kaiken kertyneen tekstin jokaisen vastaanotetun osan kohdalla, mikä on tehotonta.

Asynkroninen muunnos

Web-palvelimella (kuten FastAPI tai aiohttp) synkroninen versio estää säikeen koko generoinnin ajaksi, mikä jumiuttaa muut käynnissä olevat pyynnöt. Siksi SDK tarjoaa metodin chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Rakenne on identtinen synkronisen version kanssa, lukuun ottamatta avainsanoja await ja async for. Heti kun koodisi suoritetaan web-palvelimella, tämä on se muunnos, jota sinun on käytettävä.

Milloin käyttää suoratoistoa ja milloin jättää se väliin

Keskustelukäyttöliittymässä suoratoisto on aina pakollinen: kyse on lukumukavuudesta. Backend-API:n puolella se kannattaa ottaa käyttöön niin kauan kuin frontendisi pystyy kuluttamaan Server-Sent Events -tapahtumia. Muutamaa lausetta pidemmissä vastauksissa koetun viiveen parannus oikeuttaa lisäkompleksisuuden. Sitä vastoin eräajo-skriptissä, joka käsittelee tuhatta dokumenttia ja kirjoittaa tulokset tiedostoon, kukaan ei tuijota näyttöä: chat.complete() pysyy yksinkertaisempana ja täysin riittävänä ratkaisuna.

Keskeiset asiat

  • chat.stream() palauttaa osien iteraattorin asteittaista näyttämistä varten
  • Sisältö löytyy osoitteesta chunk.data.choices[0].delta.content
  • Käytä parametria flush=True funktiossa print() reaaliaikaista näyttämistä varten
  • Rakenna täysi vastaus uudelleen keräämällä osat tarvittaessa
  • Asynkroninen versio chat.stream_async() on suositeltava web-sovelluksille