Vastausten suoratoisto Pythonissa
Tällä sivulla
Ongelma, jonka suoratoisto ratkaisee
Kun käytät metodia chat.complete(), odotat mallin tuottavan koko vastauksen ennen kuin saat ensimmäisenkään merkin. Lyhyessä vastauksessa tämä viive jää huomaamatta. Mutta yksityiskohtaisessa analyysissä, pitkässä koodinpätkässä tai monikappaleisessa päättelyssä käyttäjä tuijottaa tyhjää näyttöä useita sekunteja. Keskustelukäyttöliittymässä jopa muutaman sekunnin hiljaisuus saa sovelluksen näyttämään jumiutuneelta.
Suoratoisto muuttaa tätä kokemusta: vastaus saapuu vähitellen, osissa, ja näkyy ruudulla pala palalta aivan kuten tutuissa keskustelukäyttöliittymissä. Kokonaisgenerointiaika ei lyhene millisekuntiakaan, mutta ensimmäinen sana ilmestyy näkyviin lähes välittömästi. Juuri tämä alkuperäinen viive on se, jonka käyttäjä todellisuudessa tuntee.
Metodien chat.stream() käyttö
Mistral SDK V2 tarjoaa metodin chat.stream(), joka palauttaa osien iteraattorin yhden objektin sijaan:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
Tässä silmukassa kaksi yksityiskohtaa tekevät eron. Ehto if content on välttämätön, koska jotkin osat saapuvat ilman tekstiä ja muuten tulostaisivat arvon None. Parametri flush=True pakottaa Pythonin kirjoittamaan tulosteen välittömästi odottamatta puskurin täyttymistä. Ilman sitä koko teksti ilmestyisi yhtenä lohkona lopussa, mikä kumoaisi täysin tavoittelemasi hyödyn.
| Näkökulma | chat.complete() | chat.stream() |
|---|---|---|
| Palautusarvo | Valmis objekti | Osien iteraattori |
| Koettu viive | Korkea (koko odotusaika) | Matala (nopea ensimmäinen token) |
| Tekstin käyttö | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Tokenien käyttö | Saatavilla vastauksessa | Saatavilla viimeisessä osassa |
Mitä osa sisältää
Jokainen osa sisältää deltan, eli katkelman rakenteilla olevasta vastauksesta. Sitä tutkimalla pääset käsiksi sekä tekstiin että virran päättymiseen liittyviin metatietoihin:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Tekstisisältö (voi olla None joissakin osissa)
text = delta.content
# Pysäytyssyy (None paitsi viimeisessä osassa)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Virta noudattaa aina samaa koreografiaa: ensimmäinen osa sisältää yleensä roolin assistant, välivaiheen osat toimittavat tekstin pieninä palasina ja viimeinen osa tarjoaa arvon finish_reason. Tarkistamalla tämän viimeisen osan voit määrittää, päättyikö vastaus normaalisti vai katkesiko se parametrin max_tokens vuoksi.
Näyttäminen ja tallentaminen samanaikaisesti
Suoratoistolla on yksi haittapuoli: teksti vierii näytöllä, mutta et säilytä sitä missään. Todellisessa sovelluksessa vastaus on kuitenkin usein arkistoitava tietokantaan keskusteluhistoriaa varten. Ratkaisu on kerätä osat näytölle kirjoittamisen ohella:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# Uudelleen koottu täysi vastaus
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Huomaa listan käyttö ja lopullinen "".join() sen sijaan, että merkkijonoja yhdisteltäisiin jokaisella silmukan kierroksella. Pitkässä vastauksessa jälkimmäinen tapa kopioi kaiken kertyneen tekstin jokaisen vastaanotetun osan kohdalla, mikä on tehotonta.
Asynkroninen muunnos
Web-palvelimella (kuten FastAPI tai aiohttp) synkroninen versio estää säikeen koko generoinnin ajaksi, mikä jumiuttaa muut käynnissä olevat pyynnöt. Siksi SDK tarjoaa metodin chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
Rakenne on identtinen synkronisen version kanssa, lukuun ottamatta avainsanoja await ja async for. Heti kun koodisi suoritetaan web-palvelimella, tämä on se muunnos, jota sinun on käytettävä.
Milloin käyttää suoratoistoa ja milloin jättää se väliin
Keskustelukäyttöliittymässä suoratoisto on aina pakollinen: kyse on lukumukavuudesta. Backend-API:n puolella se kannattaa ottaa käyttöön niin kauan kuin frontendisi pystyy kuluttamaan Server-Sent Events -tapahtumia. Muutamaa lausetta pidemmissä vastauksissa koetun viiveen parannus oikeuttaa lisäkompleksisuuden. Sitä vastoin eräajo-skriptissä, joka käsittelee tuhatta dokumenttia ja kirjoittaa tulokset tiedostoon, kukaan ei tuijota näyttöä: chat.complete() pysyy yksinkertaisempana ja täysin riittävänä ratkaisuna.
Keskeiset asiat
chat.stream()palauttaa osien iteraattorin asteittaista näyttämistä varten- Sisältö löytyy osoitteesta
chunk.data.choices[0].delta.content - Käytä parametria
flush=Truefunktiossaprint()reaaliaikaista näyttämistä varten - Rakenna täysi vastaus uudelleen keräämällä osat tarvittaessa
- Asynkroninen versio
chat.stream_async()on suositeltava web-sovelluksille