Vastuste voogedastamine Pythonis
Sellel lehel
Probleem, mida voogedastamine lahendab
Kasutades meetodit chat.complete(), ootad, kuni mudel on kogu vastuse genereerinud, enne kui saad esimese tähemärgi. Lühikese vastuse puhul seda viivitust ei märka. Kui aga tegemist on üksikasjaliku analüüsi, pika koodilõigu või mitme lõigu pikkuse arutluskäiguga, vaatab kasutaja mitu sekundit tühjale ekraanile. Vestlusliideses võib isegi mõnesekundiline vaikus jätta mulje, nagu oleks rakendus hangunud.
Voogedastamine muudab seda tajumist: vastus saabub järk-järgult, tükkide kaupa, ja kuvatakse progressiivselt, täpselt nagu sinule tuttavates vestlusliidesedes. Kogu genereerimise aeg ei lühene mitte millisekundigi võrra, kuid esimene sõna ilmub peaaegu koheselt. Just seda algset viivitust tunneb kasutaja kõige teravamalt.
Meetodi chat.stream() kasutamine
Mistrali SDK V2 pakub meetodit chat.stream(), mis tagastab tükkide iteraatori ühe objekti asemel:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
Selles tsüklis teevad kõik muutuse kaks detaili. Kontroll if content on hädavajalik, sest mõned tükid saabuva ilma tekstita ja muidu prindiks need None. Parameeter flush=True sunnib Pythonit väljundisse viivitamatult kirjutama, ootamata, kuni puhver täitub. Ilma selleta ilmuks kogu tekst lõpus ühe plokina, mis tühistaks täielikult selle, mida sa saavutada püüad.
| Aspekt | chat.complete() | chat.stream() |
|---|---|---|
| Tagastus | Täielik objekt | Tükkide iteraator |
| Tajutav latentsus | Kõrge (kogu ooteaeg) | Madal (kiire esimene token) |
| Tekstile juurdepääs | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Tokenite kasutus | Saadaval vastuses | Saadaval viimases tükis |
Mida tükk sisaldab
Iga tükk kannab endas deltat, mis tähendab fragmenti koostatavast vastusest. Seda uurides pääsed ligi nii tekstile kui ka voogu lõpetavale metaandmele:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Tekstisisu (võib mõne tüki puhul olla None)
text = delta.content
# Peatumise põhjus (None, välja arvatud viimase tüki puhul)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Voog järgib alati sama koreograafiat: esimene tükk kannab tavaliselt rolli assistant, vahepealsed tükid edastavad teksti väikeste tükkidena ja viimane annab finish_reason. Kontrollides seda viimast tükki, saad teada, kas vastus lõppes normaalselt või katkestati see max_tokens piirangu tõttu.
Samaaegne kuvamine ja salvestamine
Voogedastamisel on üks puudus: tekst kerib mööda, kuid sa ei hoia seda kusagil alles. Reaalses rakenduses on aga sageli vaja vastust vestlusajaloo jaoks andmebaasi arhiveerida. Lahenduseks on fragmentide kogumine samaaegselt nende kuvamisega:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# Taastatud täielik vastus
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Pane tähele, et kasutame listi ja lõplikku "".join() meetodit, mitte stringide liitmist igas tsükli iteratsioonis. Pika vastuse puhul kopeerib viimane lähenemine iga saadud fragmendi jaoks kogu seni kogutud teksti, mis on ebaefektiivne.
Asünkroonne variant
Veebiserveris (näiteks FastAPI, aiohttp) blokeerib sünkroonne versioon lõime kogu genereerimise ajaks, külmutades teised käimasolevad päringud. Seetõttu pakub SDK meetodit chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
Struktuur on identne sünkroonse versiooniga, välja arvatud märksõnad await ja async for. Niipea kui su kood jookseb veebiserveris, on see variant, mida pead kasutama.
Millal voogedastada ja millal mitte
Vestlusliideses on voogedastamine alati kohustuslik: kaalul on lugemismugavus. Tagaotsa API poolel tasub see sisse lülitada seni, kuni su kasutajaliides suudab tarbida Server-Sent Evente. Mis tahes vastuse puhul, mis on pikem kui mõned laused, õigustab tajutava latentsuse vähenemine lisanduvat keerukust. Vastupidi, kui tegemist on pakett-skriptiga, mis töötleb tuhandet dokumenti ja kirjutab tulemused faili, ei vaata keegi ekraani: chat.complete() jääb lihtsamaks ja täiesti piisavaks lahenduseks.
Peamised punktid
chat.stream()tagastab progressiivseks kuvamiseks tükkide iteraatori- Sisu asub aadressil
chunk.data.choices[0].delta.content - Reaalajas kuvamiseks kasuta oma
print()väljakutsetes parameetritflush=True - Vajadusel taasta täielik vastus, kogudes tükke
- Veebirakenduste jaoks on soovitatav kasutada asünkroonset varianti
chat.stream_async()