Srautinių atsakymų generavimas naudojant Python
Šiame puslapyje
Problema, kurią sprendžia srautinis perdavimas
Naudojant chat.complete(), tenka laukti, kol modelis sugeneruos visą atsakymą, prieš gaunant bent vieną simbolį. Trumpam atsakymui šis delsas nepastebimas. Tačiau atliekant išsamią analizę, generuojant ilgą kodo fragmentą ar daugiapastraibį samprotavimą, vartotojas kelias sekundes žiūri į tuščią ekraną. Pokalbio sąsajoje net kelių sekundžių tyla gali sukelti įspūdį, kad programa užstrigo.
Srautinis perdavimas (streaming) keičia šį suvokimą: atsakymas gaunamas palaipsniui, dalimis po dalies, ir rodomas taip pat, kaip įprastose pokalbių sąsajose. Bendras generavimo laikas nesutrumpėja nė milisekunde, tačiau pirmasis žodis pasirodo beveik iškart. Būtent tą pradinį delsą vartotojas jaučia labiausiai.
Naudojimas su chat.stream()
Mistral SDK V2 pateikia metodą chat.stream(), kuris grąžina dalių iteratorių vietoj vieno objekto:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
Šiame cikle du dalykai yra lemiami. Patikrinimas if content yra būtinas, nes kai kurios dalys atkeliauja be teksto ir kitaip būtų atspausdinta None. O flush=True priverčia „Python“ nedelsiant išvesti duomenis, nelaukiant, kol bus užpildyta buferinė atmintis. Be jo, visas tekstas pasirodytų vienu bloku pabaigoje, visiškai panaikindamas norimą naudą.
| Aspektas | chat.complete() | chat.stream() |
|---|---|---|
| Grąžinama reikšmė | Pilnas objektas | Dalių iteratorius |
| Suvokiama delsa | Didelė (laukiama visko) | Maža (greitas pirmasis tokenas) |
| Teksto prieiga | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Tokenų naudojimas | Pateikiama atsakyme | Pateikiama paskutinėje dalyje |
Ką turi kiekviena dalis
Kiekviena dalis turi delta reikšmę, tai yra, kuriamos atsakymo fragmentą. ją išnagrinėjęs gauni prieigą tiek prie teksto, tiek prie srauto pabaigos metaduomenų:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Teksto turinys (kai kurioms dalims gali būti None)
text = delta.content
# Sustojimo priežastis (None, išskyrus paskutinę dalį)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Procesas visada vyksta pagal tą pačią choreografiją: pirmoji dalis paprastai turi assistant vaidmenį, tarpinės dalys perduoda tekstą mažais gabalėliais, o paskutinė pateikia finish_reason. Patikrinęs šią paskutinę dalį nustatai, ar atsakymas baigėsi normaliai, ar buvo nutrauktas dėl max_tokens ribos.
Vienu metu rodyti ir saugoti
Srautinis perdavimas turi trūkumą: tekstas slenka ekrane, bet niekur jo nesaugai. Tačiau realiose programose dažnai reikia archyvuoti atsakymą duomenų bazėje pokalbių istorijai. Sprendimas – kaupti fragmentus tuo pačiu metu juos rodant:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# Atkurtas pilnas atsakymas
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Atkreipk dėmesį, kad naudojamas sąrašas, o pabaigoje taikomas "".join(), vietoj eilučių sujungimo kiekvienoje ciklo iteracijoje. Ilgam atsakymui pastarasis būdas kopijuotų visą sukauptą tekstą kiekvienam gautam fragmentui, kas yra neefektyvu.
Asinchroninė versija
Žiniatinklio serveryje (pvz., „FastAPI“, „aiohttp“) sinchroninė versija užblokuotų giją viso generavimo metu, sustabdydama kitus vykdomus užklausimus. Todėl SDK pateikia chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
Struktūra identiška sinchroninei versijai, išskyrus raktažodžius await ir async for. Kai tik tavo kodas veikia žiniatinklio serveryje, privalai naudoti būtent šią versiją.
Kada naudoti srautinį perdavimą, o kada jo vengti
Pokalbio sąsajoje srautinis perdavimas visada yra privalomas: tai klausimas apie skaitymo komfortą. Backend API pusėje verta jį įjungti, jei tavo frontendas gali apdoroti „Server-Sent Events“. Bet kokiam atsakymui, ilgesniam nei keli sakiniai, suvokiamos delsos sumažėjimas pateisina papildomą sudėtingumą. Tuo tarpu paketo scenarijuje, apdorojančiame tūkstantį dokumentų ir rašančiame rezultatus į failą, niekas nežiūri į ekraną: chat.complete() lieka paprastesnis ir visiškai tinkamas sprendimas.
Svarbiausi punktai
chat.stream()grąžina dalių iteratorių palaipsniam rodymui- Turinys yra
chunk.data.choices[0].delta.content - Naudok
flush=Truesavoprint()kvietimuose, kad rodymas būtų realiuoju laiku - Jei reikia, atkurk pilną atsakymą kaupdamas dalis
- Asinchroninė versija
chat.stream_async()rekomenduojama žiniatinklio programoms