Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Freagairtí Sruthaithe i bPython

Ceacht 6 as 14 Nuashonraithe 2 Samhain 2026 Forbróir
Ar an leathanach seo
  1. An fhadhb a réitíonn sruthú
  2. Úsáid a bhaint as chat.stream()
  3. Cad atá i bpíosa
  4. Taispeáint agus sábháil ag an am céanna
  5. An leagan neamhshioncrónach
  6. Cathain le sruthú agus cathain gan é a dhéanamh
  7. Príomhphointí

An fhadhb a réitíonn sruthú

Le chat.complete(), fanann tú go nginfidh an tsamhail a freagra iomlán sula bhfaigheann tú aon charachtar amháin. I gcás freagra gairid, ní thugtar faoi deara an mhoill seo. Ach le haghaidh anailíse mionsonraithe, blúire códa fada, nó réasúnaíochta ilmhíre, bíonn an t-úsáideoir ag breathnú ar scáileán bán ar feadh roinnt soicind. I gcomhéadan comhrá, is féidir le ciúnas fiú cúpla soicind a chur in iúl go bhfuil an feidhmchlár reoite.

Athraíonn sruthú an tuiscint seo: tagann an freagra de réir a chéile, píosa ar phíosa, agus taispeántar é go forásach díreach cosúil leis na comhéadain chomhrá atá ar eolas agat. Ní laghdaíonn an t-am giniúna iomlán faoi mhilleasoicind, ach feictear an chéad fhocal beagnach láithreach. Is é an mhoill tosaigh sin a mhothaíonn an t-úsáideoir i ndáiríre.

Úsáid a bhaint as chat.stream()

Nochtaíonn Mistral SDK V2 an modh chat.stream(), a thugann ar ais iteradóir de phíosaí in ionad oibiachta singil:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Tá dhá shonraí sa lúb seo a dhéanann an difríocht uile. Tá an seiceáil if content riachtanach toisc go dtagann roinnt píosaí gan téacs agus go gclódfaí None murach sin. Cuirfidh flush=True iallach ar Python scríobh láithreach chuig an aschur seachas fanacht go líonfaí a mhaolán. Gan é, bheadh an téacs go léir le feiceáil i mbloc amháin ag an deireadh, rud a chuirfeadh ar ceal go hiomlán an sochar atá á lorg agat.

Gnéchat.complete()chat.stream()
ToradhOibiacht iomlánIteradóir de phíosaí
Moill mhothaitheArd (fanacht iomlán)Íseal (céad chomhartha tapa)
Rochtain ar théacsresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Úsáid chomharthaíAr fáil sa fhreagraAr fáil sa phíosa deireanach

Cad atá i bpíosa

Iompraíonn gach píosa delta, rud a chiallaíonn blúire den fhreagra atá á thógáil. Tríd a iniúchadh, bíonn rochtain agat ar an téacs agus ar mheiteashonraí deireadh an tsrutha araon:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Text content (can be None for some chunks)
    text = delta.content

    # Stop reason (None except for the last chunk)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Leanann an sreabhadh an cóiréagrafaíocht chéanna i gcónaí: iompraíonn an chéad phíosa an ról assistant de ghnáth, seachadann píosaí idirmheánacha an téacs i bpíosaí beaga, agus soláthraíonn an ceann deireanach an finish_reason. Cinneann tú anorainn an freagra go nádúrtha nó an gearradh air de bharr max_tokens tríd an bpíosa deireanach seo a sheiceáil.

Taispeáint agus sábháil ag an am céanna

Tá míbhuntáiste amháin ag baint le sruthú: scrollaíonn an téacs thart, ach ní choinníonn tú é in aon áit. Ach is minic a theastaíonn ó fheidhmchlár fíorshaol an freagra a chartlannú i mbunachar sonraí le haghaidh stair chomhrá. Is é an réiteach ná blúirí a charnadh agus iad á dtaispeáint:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Tabhair faoi deara úsáid liosta agus "".join() deiridh seachas comhcheangal teaghráin i ngach atriall lúibe. I gcás freagra fada, déanann an cur chuige seo cóipeáil ar an téacs carntha go léir do gach blúire a fhaightear, rud nach bhfuil éifeachtach.

An leagan neamhshioncrónach

I bhfreastalaí gréasáin—FastAPI, aiohttp—cuireann an leagan sioncrónach bac ar an snáithe le linn na giniúna ar fad, ag reoigh iarratais eile atá ar siúl. Dá bhrí sin, soláthraíonn an SDK chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Tá an struchtúr mar an gcéanna leis an leagan sioncrónach, seachas na heochairfhocail await agus async for. Chomh luath agus a ritheann do chód i bhfreastalaí gréasáin, is é seo an leagan ba chóir duit a úsáid.

Cathain le sruthú agus cathain gan é a dhéanamh

I gcomhéadan comhrá, tá sruthú éigeantach i gcónaí: tá compord léitheoireachta i gceist. Ar thaobh an API cúltaca, fiú é a chumasú fad is atá do thosaigh in ann Imeachtaí Seirbhísithe ón bhFreastalaí (Server-Sent Events) a ithe. Maidir le haon fhreagra níos faide ná cúpla abairt, údaróidh an gnóthachan i moill mhothaithe an chastacht bhreise. Os a choinne sin, i scripteais bhaisce a phróiseálann míle doiciméad agus a scríobhann torthaí chuig comhad, níl aon duine ag breathnú ar an scáileán: fanann chat.complete() níos simplí agus oiriúnach go hiomlán.

Príomhphointí

  • Tugann chat.stream() ar ais iteradóir de phíosaí le haghaidh taispeána forásaí
  • Tá an t-ábhar i chunk.data.choices[0].delta.content
  • Úsáid flush=True i do ghlaoithe print() le haghaidh taispeána fíor-ama
  • Atóg an freagra iomlán trí phíosaí a charnadh más gá
  • Moltar an leagan neamhshioncrónach chat.stream_async() d’fheidhmchláir ghréasáin