Atbildes straumēšana Python valodā
Šajā lapā
Problēma, ko atrisina straumēšana
Izmantojot chat.complete(), tu gaidi, kamēr modelis ģenerē visu atbildi, pirms saņemsi pirmo rakstzīmi. Īsai atbildei šī aizture paliek nepamanīta. Taču detalizētai analīzei, garam koda fragmentam vai spriedumam vairākās rindkopās lietotājs vairākas sekundes skatās tukšā ekrānā. Tērzēšanas saskarnē pat dažas klusuma sekundes var likt lietotnei izskatīties iesaldētai.
Straumēšana maina šo uztveri: atbilde pienāk pakāpeniski, pa daļām, un tiek attēlota progresīvi, tieši tāpat kā tev pazīstamajās tērzēšanas saskarnēs. Kopējais ģenerēšanas laiks nesamazinās ne par milisekundi, taču pirmais vārds parādās gandrīz uzreiz. Tieši šo sākotnējo aizturi lietotājs faktiski izjūt.
Metodes chat.stream() izmantošana
Mistral SDK V2 piedāvā metodi chat.stream(), kas atgriež daļu iteratoru viena objekta vietā:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
Šajā ciklā divas detaļas ir izšķirošas. Pārbaude if content ir būtiska, jo dažas daļas pienāk bez teksta un citādi izdrukātu None. Savukārt flush=True piespiež Python uzreiz rakstīt izvadi, negaidot, kamēr buferis piepildīsies. Bez tā viss teksts parādītos vienā blokā beigās, pilnībā anulējot vēlamo ieguvumu.
| Aspekts | chat.complete() | chat.stream() |
|---|---|---|
| Atgriežamā vērtība | Pilns objekts | Daļu iterators |
| Uztvertā latentums | Augsts (pilna gaidīšana) | Zems (ātrs pirmais tokens) |
| Teksta piekļuve | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Tokenu lietojums | Pieejams atbildē | Pieejams pēdējā daļā |
Ko satur katra daļa
Katra daļa nes delta, proti, veidojamās atbildes fragmentu. To inspectējot, tu piekļūsti gan tekstam, gan straumes beigu metadatiem:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Text content (can be None for some chunks)
text = delta.content
# Stop reason (None except for the last chunk)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Plūsma vienmēr seko vienai horeogrāfijai: pirmā daļa parasti nes assistant lomu, starpposma daļas piegādā tekstu mazos gabaliņos, bet pēdējā nodrošina finish_reason. Pārbaudot šo pēdējo daļu, tu nosaki, vai atbilde beidzās normāli vai tika pārtraukta, sasniedzot max_tokens.
Vienlaicīga attēlošana un saglabāšana
Straumēšanai ir trūkums: teksts rit garām, bet tu to nekur nepatur. Tomēr reālām lietotnēm bieži vien ir nepieciešams arhivēt atbildi datubāzē sarunu vēstures vajadzībām. Risinājums ir uzkrāt fragmentus, vienlaikus tos attēlojot:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Ņem vērā saraksta izmantošanu, kam seko galīgais "".join(), nevis virkņu konkatenāciju katrā cikla iterācijā. Garai atbildei pēdējā pieeja katram saņemtajam fragmentam kopē visu uzkrāto tekstu, kas ir neefektīvi.
Asinhronā varianta izmantošana
Tīmekļa serverī (FastAPI, aiohttp) sinhronā versija bloķē pavedienu visas ģenerēšanas laikā, iesaldējot citus notiekošos pieprasījumus. Tāpēc SDK piedāvā chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
Struktūra ir identiska sinhronajai versijai, izņemot atslēgvārdus await un async for. Tiklīdz tavs kods darbojas tīmekļa serverī, tev ir jāizmanto tieši šī varianta.
Kad straumēt un kad to izlaist
Tērzēšanas saskarnē straumēšana vienmēr ir obligāta: tas ir lasīšanas komforta jautājums. Aizmugures (backend) API pusē ir vērts to aktivizēt, ja tava frontend lietotne spēj patērēt Server-Sent Events. Jebkurai atbildei, kas garāka par dažiem teikumiem, ieguvums uztvertajā latentumā attaisno papildu sarežģītību. Turpretī, veidojot paketes skriptu, kas apstrādā tūkstoš dokumentu un raksta rezultātus failā, neviens neskatās uz ekrānu: chat.complete() paliek vienkāršāks un pilnīgi pietiekams risinājums.
Galvenās atziņas
chat.stream()atgriež daļu iteratoru pakāpeniskai attēlošanai- Saturs atrodas
chunk.data.choices[0].delta.content - Izmanto
flush=Truesavosprint()izsaukumos, lai nodrošinātu attēlošanu reāllaikā - Rekonstruē pilnu atbildi, uzkrājot daļas, ja tas ir nepieciešams
- Asinhronā versija
chat.stream_async()ir ieteicama tīmekļa lietotnēm