Ir-risponsi fl-istreaming f'Python
F'din il-paġna
Il-problema li s-soluzzjoni tal-istreaming issolvi
B’chat.complete(), trid tistenna sakemm il-mudell jiġġenera r-rispons kollu tiegħu qabel ma tirċievi karattru wieħed. Għal tweġiba qasira, dan id-dewmien ma jintlaqatx. Imma għal analiżi dettaljata, biċċa kodiċi twila, jew raġunament f’diversi paragrafi, l-utent jibqa’ jħares lejn skrin vojt għal diversi sekondi. F’interfaċċa ta’ chat, anke ftit sekondi ta’ silenzju jistgħu jagħmlu lill-applikazzjoni tidher iffriżata.
L-istreaming ibiddel din il-perċezzjoni: ir-rispons jasal b’mod inkrementali, biċċa biċċa, u jintwera progressivament eżattament bħall-interfaċċi tal-chat li taf. Il-ħin totali tal-ġenerazzjoni ma jonqosx b’millisekonda, iżda l-ewwel kelma tidher kważi immedjatament. Dak id-dewmien inizjali huwa dak li l-utent iħoss fil-fatt.
Kif tuża chat.stream()
Is-SDK V2 ta’ Mistral jesponi l-metodu chat.stream(), li jirritorna iteratur ta’ biċċiet minflok oġġett wieħed:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
Żewġ dettalji jagħmlu d-differenza kollha f’dan iċ-ċiklu. Iċ-ċekk if content huwa essenzjali għax xi biċċiet jaslu mingħajr test u kieku kienu jistampaw None. U flush=True jfurza lil Python jikteb immedjatament fl-output minflok ma jistenna sakemm il-buffer jimtela. Mingħajru, it-test kollu kien jidher f’blokk wieħed fl-aħħar, u jneħħi kompletament il-benefiċċju li qed tfittex.
| Aspett | chat.complete() | chat.stream() |
|---|---|---|
| Ritorn | Oġġett sħiħ | Iteratur ta’ biċċiet |
| Latenza perċepita | Għolja (stennija totali) | Baxxa (ewwel token mgħaġġel) |
| Aċċess għat-test | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Użu tat-token | Disponibbli fir-rispons | Disponibbli fl-aħħar biċċa |
X’fih biċċa (chunk)
Kull biċċa ġġorr delta, jiġifieri framment tar-rispons li qed jinbena. Billi tispezzjonaha, taċċessa kemm it-test kif ukoll il-metadejta tat-tmiem tal-fluss:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Text content (can be None for some chunks)
text = delta.content
# Stop reason (None except for the last chunk)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Il-fluss dejjem isegwi l-istess koreografija: l-ewwel biċċa ġġeneralment iġġorr ir-rwol assistant, il-biċċiet intermedjarji jwasslu t-test f’porzjonijiet żgħar, u l-aħħar waħda tipprovdi l-finish_reason. Tiddetermina jekk ir-rispons intemmx normalment jew jekk inqatgħax minħabba max_tokens billi tiċċekkja din l-aħħar biċċa.
Uri u salva fl-istess ħin
L-istreaming għandu żvantaġġ: it-test jgħaddi quddiem għajnejk, iżda ma żżommx kopja tiegħu mkien. Madankollu, applikazzjoni fid-dinja reali spiss teħtieġ li tarkivja r-rispons f’database għall-istorja tal-konversazzjoni. Is-soluzzjoni hija li takkumula l-frammenti waqt li turihom:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Innota l-użu ta’ lista segwita minn "".join() finali minflok il-konkatenazzjoni tal-istringi f’kull iterazzjoni taċ-ċiklu. Għal rispons twil, l-aħħar approċċ jikkopja t-test akkumulat kollu għal kull framment li jasal, li mhux effiċjenti.
Il-varjant asinkronu
F’server web—FastAPI, aiohttp—il-verżjoni sinkrona timblokka t-thread matul il-ġenerazzjoni kollha, u tiffriża talbiet oħra li għaddejjin. Għalhekk l-SDK jipprovdi chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
L-istruttura hija identika għall-verżjoni sinkrona, ħlief għall-kliem ewlieni await u async for. Hekk kif il-kodiċi tiegħek ikun qed jaħdem f’server web, din hija l-varjant li trid tuża.
Meta tagħmel streaming u meta le
F’interfaċċa ta’ chat, l-istreaming huwa dejjem obbligatorju: il-kumdità tal-qari hija f’logħba. Fuq in-naħa tal-API tal-backend, jiswielha li tħaddmu sakemm il-frontend tiegħek ikun jista’ jikkonsma Server-Sent Events. Għal kwalunkwe rispons itwal minn ftit sentenzi, il-gwadann fil-latenza perċepita jiġġustifika l-kumplessità miżjuda. Bil-kontra, f’skript batch li qed jipproċessa elf dokument u jikteb ir-riżultati f’fajl, ħadd mhu qed iħares lejn l-iskrin: chat.complete() tibqa’ l-aktar sempliċi u perfetta għall-għan.
Punti Ewlenin
chat.stream()jirritorna iteratur ta’ biċċiet għal wiri progressiv- Il-kontenut jinsab f’
chunk.data.choices[0].delta.content - Uża
flush=Truefis-sejħietprint()tiegħek għal wiri f’ħin reali - Irrikostruwixxi r-rispons sħiħ billi takkumula l-biċċiet jekk ikun meħtieġ
- Il-verżjoni asinkrona
chat.stream_async()hija rrakkomandata għal applikazzjonijiet web