Pretakanje odgovorov v Pythonu
Na tej strani
Težava, ki jo rešuje pretakanje
Pri uporabi chat.complete() čakaš, da model ustvari celoten odgovor, preden prejmeš prvi znak. Pri kratkem odgovoru ta zamuda ostane neopazna. Toda pri podrobni analizi, dolgem izseku kode ali sklepanju, razpetem na več odstavkov, uporabnik gleda v prazen zaslon več sekund. V vmesniku za klepet lahko že nekaj sekund tišine ustvari vtis, da se je aplikacija zataknila.
Pretakanje (streaming) to zaznavanje spremeni: odgovor prihaja postopoma, delček za delčkom, in se prikazuje sproti, prav tako kot pri klepetalnih vmesnikih, ki jih poznaš. Skupni čas generiranja se ne skrajša niti za milisekundo, a se prva beseda prikaže skoraj takoj. Prav ta začetni zamik je tisto, kar uporabnik dejansko občuti.
Uporaba metode chat.stream()
Mistral SDK V2 ponuja metodo chat.stream(), ki namesto enega samega objekta vrne iterator delčkov:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
V tej zanki sta ključna dva podrobnosti. Preverjanje if content je nujno, ker nekateri delčki prispejo brez besedila in bi sicer izpisali None. Parameter flush=True pa prisili Python, da takoj zapiše podatke na izhod, namesto da bi čakal, da se medpomnilnik napolni. Brez tega bi se celotno besedilo pojavilo hkrati šele na koncu, kar bi popolnoma izničilo želeni učinek.
| Vidik | chat.complete() | chat.stream() |
|---|---|---|
| Vrnjena vrednost | Celoten objekt | Iterator delčkov |
| Zaznana zakasnitev | Visoka (čakanje na vse) | Nizka (hiter prvi žeton) |
| Dostop do besedila | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Poraba žetonov | Na voljo v odgovoru | Na voljo v zadnjem delčku |
Kaj vsebuje delček
Vsak delček nosi delto, kar pomeni fragment odgovora, ki je še v nastajanju. Z njenim pregledom dostopaš tako do besedila kot do metapodatkov o koncu pretoka:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Text content (can be None for some chunks)
text = delta.content
# Stop reason (None except for the last chunk)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Potek vedno sledi isti koreografiji: prvi delček običajno vsebuje vlogo assistant, vmesni delčki dostavljajo besedilo v majhnih kosih, zadnji pa prinese finish_reason. S preverjanjem tega zadnjega delčka ugotoviš, ali se je odgovor končal normalno ali pa je bil prekinjen zaradi omejitve max_tokens.
Hkratni prikaz in shranjevanje
Pretakanje ima slabost: besedilo drvi mimo, a ga nikjer ne obdržiš. Realna aplikacija pa pogosto potrebuje arhiviranje odgovora v bazo podatkov zaradi zgodovine pogovora. Rešitev je kopičenje fragmentov med njihovim prikazovanjem:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Upoštevaj uporabo seznama, ki mu sledi končni "".join(), namesto združevanja nizov v vsaki iteraciji zanke. Pri dolgih odgovorih slednji pristop za vsak prejeti fragment kopira vse že zbrano besedilo, kar je neučinkovito.
Asinhrona različica
V spletnem strežniku (FastAPI, aiohttp) sinhrona različica blokira nit med celotnim generiranjem in s tem zamrzne druge tekoče zahteve. Zato SDK ponuja chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
Struktura je enaka sinhroni različici, razen ključnih besed await in async for. Takoj ko tvoja koda teče v spletnem strežniku, moraš uporabiti prav to različico.
Kdaj uporabiti pretakanje in kdaj ne
V vmesniku za klepet je pretakanje vedno obvezno: gre za udobje branja. Na strani zalednega API-ja ga je smiselno omogočiti, če tvoje čelo lahko porablja dogodke, poslane s strežnika (Server-Sent Events). Za vsak odgovor, daljši od nekaj stavkov, dobiček v zaznani zakasnitvi upraviči dodano kompleksnost. Nasprotno pa v skripti za paketno obdelavo tisoč dokumentov in zapisovanje rezultatov v datoteko nihče ne gleda v zaslon: chat.complete() ostaja preprostejša in povsem ustrezna izbira.
Ključne ugotovitve
chat.stream()vrne iterator delčkov za postopen prikaz- Vsebina se nahaja v
chunk.data.choices[0].delta.content - Za prikaz v realnem času uporabi
flush=Truev klicihprint() - Po potrebi rekonstruiraj celoten odgovor s kopičenjem delčkov
- Za spletne aplikacije je priporočljiva asinhrona različica
chat.stream_async()