Freagairtí Sruthaithe i bPython
Ar an leathanach seo
An fhadhb a réitíonn sruthú
Le chat.complete(), fanann tú go nginfidh an tsamhail a freagra iomlán sula bhfaigheann tú aon charachtar amháin. I gcás freagra gairid, ní thugtar faoi deara an mhoill seo. Ach le haghaidh anailíse mionsonraithe, blúire códa fada, nó réasúnaíochta ilmhíre, bíonn an t-úsáideoir ag breathnú ar scáileán bán ar feadh roinnt soicind. I gcomhéadan comhrá, is féidir le ciúnas fiú cúpla soicind a chur in iúl go bhfuil an feidhmchlár reoite.
Athraíonn sruthú an tuiscint seo: tagann an freagra de réir a chéile, píosa ar phíosa, agus taispeántar é go forásach díreach cosúil leis na comhéadain chomhrá atá ar eolas agat. Ní laghdaíonn an t-am giniúna iomlán faoi mhilleasoicind, ach feictear an chéad fhocal beagnach láithreach. Is é an mhoill tosaigh sin a mhothaíonn an t-úsáideoir i ndáiríre.
Úsáid a bhaint as chat.stream()
Nochtaíonn Mistral SDK V2 an modh chat.stream(), a thugann ar ais iteradóir de phíosaí in ionad oibiachta singil:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{
"role": "user",
"content": "Describe the steps to deploy a Flask application on a Linux server."
}
]
)
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
# Final newline
print()
Tá dhá shonraí sa lúb seo a dhéanann an difríocht uile. Tá an seiceáil if content riachtanach toisc go dtagann roinnt píosaí gan téacs agus go gclódfaí None murach sin. Cuirfidh flush=True iallach ar Python scríobh láithreach chuig an aschur seachas fanacht go líonfaí a mhaolán. Gan é, bheadh an téacs go léir le feiceáil i mbloc amháin ag an deireadh, rud a chuirfeadh ar ceal go hiomlán an sochar atá á lorg agat.
| Gné | chat.complete() | chat.stream() |
|---|---|---|
| Toradh | Oibiacht iomlán | Iteradóir de phíosaí |
| Moill mhothaithe | Ard (fanacht iomlán) | Íseal (céad chomhartha tapa) |
| Rochtain ar théacs | response.choices[0].message.content | chunk.data.choices[0].delta.content |
| Úsáid chomharthaí | Ar fáil sa fhreagra | Ar fáil sa phíosa deireanach |
Cad atá i bpíosa
Iompraíonn gach píosa delta, rud a chiallaíonn blúire den fhreagra atá á thógáil. Tríd a iniúchadh, bíonn rochtain agat ar an téacs agus ar mheiteashonraí deireadh an tsrutha araon:
for chunk in stream:
delta = chunk.data.choices[0].delta
# Text content (can be None for some chunks)
text = delta.content
# Stop reason (None except for the last chunk)
end = chunk.data.choices[0].finish_reason
if text:
print(text, end="", flush=True)
if end:
print(f"\n[Stream end: {end}]")
Leanann an sreabhadh an cóiréagrafaíocht chéanna i gcónaí: iompraíonn an chéad phíosa an ról assistant de ghnáth, seachadann píosaí idirmheánacha an téacs i bpíosaí beaga, agus soláthraíonn an ceann deireanach an finish_reason. Cinneann tú anorainn an freagra go nádúrtha nó an gearradh air de bharr max_tokens tríd an bpíosa deireanach seo a sheiceáil.
Taispeáint agus sábháil ag an am céanna
Tá míbhuntáiste amháin ag baint le sruthú: scrollaíonn an téacs thart, ach ní choinníonn tú é in aon áit. Ach is minic a theastaíonn ó fheidhmchlár fíorshaol an freagra a chartlannú i mbunachar sonraí le haghaidh stair chomhrá. Is é an réiteach ná blúirí a charnadh agus iad á dtaispeáint:
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = client.chat.stream(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "List five Python web frameworks."}
]
)
full_response = []
for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
full_response.append(content)
print(content, end="", flush=True)
print()
# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")
Tabhair faoi deara úsáid liosta agus "".join() deiridh seachas comhcheangal teaghráin i ngach atriall lúibe. I gcás freagra fada, déanann an cur chuige seo cóipeáil ar an téacs carntha go léir do gach blúire a fhaightear, rud nach bhfuil éifeachtach.
An leagan neamhshioncrónach
I bhfreastalaí gréasáin—FastAPI, aiohttp—cuireann an leagan sioncrónach bac ar an snáithe le linn na giniúna ar fad, ag reoigh iarratais eile atá ar siúl. Dá bhrí sin, soláthraíonn an SDK chat.stream_async():
import asyncio
import os
from mistralai.client import Mistral
async def generate_response():
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
stream = await client.chat.stream_async(
model="mistral-small-latest",
messages=[
{"role": "user", "content": "Explain the concept of a coroutine in Python."}
]
)
async for chunk in stream:
content = chunk.data.choices[0].delta.content
if content:
print(content, end="", flush=True)
print()
asyncio.run(generate_response())
Tá an struchtúr mar an gcéanna leis an leagan sioncrónach, seachas na heochairfhocail await agus async for. Chomh luath agus a ritheann do chód i bhfreastalaí gréasáin, is é seo an leagan ba chóir duit a úsáid.
Cathain le sruthú agus cathain gan é a dhéanamh
I gcomhéadan comhrá, tá sruthú éigeantach i gcónaí: tá compord léitheoireachta i gceist. Ar thaobh an API cúltaca, fiú é a chumasú fad is atá do thosaigh in ann Imeachtaí Seirbhísithe ón bhFreastalaí (Server-Sent Events) a ithe. Maidir le haon fhreagra níos faide ná cúpla abairt, údaróidh an gnóthachan i moill mhothaithe an chastacht bhreise. Os a choinne sin, i scripteais bhaisce a phróiseálann míle doiciméad agus a scríobhann torthaí chuig comhad, níl aon duine ag breathnú ar an scáileán: fanann chat.complete() níos simplí agus oiriúnach go hiomlán.
Príomhphointí
- Tugann
chat.stream()ar ais iteradóir de phíosaí le haghaidh taispeána forásaí - Tá an t-ábhar i
chunk.data.choices[0].delta.content - Úsáid
flush=Truei do ghlaoitheprint()le haghaidh taispeána fíor-ama - Atóg an freagra iomlán trí phíosaí a charnadh más gá
- Moltar an leagan neamhshioncrónach
chat.stream_async()d’fheidhmchláir ghréasáin