Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Ir-risponsi fl-istreaming f'Python

Lezzjoni 6 / 14 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Il-problema li s-soluzzjoni tal-istreaming issolvi
  2. Kif tuża chat.stream()
  3. X’fih biċċa (chunk)
  4. Uri u salva fl-istess ħin
  5. Il-varjant asinkronu
  6. Meta tagħmel streaming u meta le
  7. Punti Ewlenin

Il-problema li s-soluzzjoni tal-istreaming issolvi

B’chat.complete(), trid tistenna sakemm il-mudell jiġġenera r-rispons kollu tiegħu qabel ma tirċievi karattru wieħed. Għal tweġiba qasira, dan id-dewmien ma jintlaqatx. Imma għal analiżi dettaljata, biċċa kodiċi twila, jew raġunament f’diversi paragrafi, l-utent jibqa’ jħares lejn skrin vojt għal diversi sekondi. F’interfaċċa ta’ chat, anke ftit sekondi ta’ silenzju jistgħu jagħmlu lill-applikazzjoni tidher iffriżata.

L-istreaming ibiddel din il-perċezzjoni: ir-rispons jasal b’mod inkrementali, biċċa biċċa, u jintwera progressivament eżattament bħall-interfaċċi tal-chat li taf. Il-ħin totali tal-ġenerazzjoni ma jonqosx b’millisekonda, iżda l-ewwel kelma tidher kważi immedjatament. Dak id-dewmien inizjali huwa dak li l-utent iħoss fil-fatt.

Kif tuża chat.stream()

Is-SDK V2 ta’ Mistral jesponi l-metodu chat.stream(), li jirritorna iteratur ta’ biċċiet minflok oġġett wieħed:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Żewġ dettalji jagħmlu d-differenza kollha f’dan iċ-ċiklu. Iċ-ċekk if content huwa essenzjali għax xi biċċiet jaslu mingħajr test u kieku kienu jistampaw None. U flush=True jfurza lil Python jikteb immedjatament fl-output minflok ma jistenna sakemm il-buffer jimtela. Mingħajru, it-test kollu kien jidher f’blokk wieħed fl-aħħar, u jneħħi kompletament il-benefiċċju li qed tfittex.

Aspettchat.complete()chat.stream()
RitornOġġett sħiħIteratur ta’ biċċiet
Latenza perċepitaGħolja (stennija totali)Baxxa (ewwel token mgħaġġel)
Aċċess għat-testresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Użu tat-tokenDisponibbli fir-risponsDisponibbli fl-aħħar biċċa

X’fih biċċa (chunk)

Kull biċċa ġġorr delta, jiġifieri framment tar-rispons li qed jinbena. Billi tispezzjonaha, taċċessa kemm it-test kif ukoll il-metadejta tat-tmiem tal-fluss:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Text content (can be None for some chunks)
    text = delta.content

    # Stop reason (None except for the last chunk)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Il-fluss dejjem isegwi l-istess koreografija: l-ewwel biċċa ġġeneralment iġġorr ir-rwol assistant, il-biċċiet intermedjarji jwasslu t-test f’porzjonijiet żgħar, u l-aħħar waħda tipprovdi l-finish_reason. Tiddetermina jekk ir-rispons intemmx normalment jew jekk inqatgħax minħabba max_tokens billi tiċċekkja din l-aħħar biċċa.

Uri u salva fl-istess ħin

L-istreaming għandu żvantaġġ: it-test jgħaddi quddiem għajnejk, iżda ma żżommx kopja tiegħu mkien. Madankollu, applikazzjoni fid-dinja reali spiss teħtieġ li tarkivja r-rispons f’database għall-istorja tal-konversazzjoni. Is-soluzzjoni hija li takkumula l-frammenti waqt li turihom:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Innota l-użu ta’ lista segwita minn "".join() finali minflok il-konkatenazzjoni tal-istringi f’kull iterazzjoni taċ-ċiklu. Għal rispons twil, l-aħħar approċċ jikkopja t-test akkumulat kollu għal kull framment li jasal, li mhux effiċjenti.

Il-varjant asinkronu

F’server web—FastAPI, aiohttp—il-verżjoni sinkrona timblokka t-thread matul il-ġenerazzjoni kollha, u tiffriża talbiet oħra li għaddejjin. Għalhekk l-SDK jipprovdi chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

L-istruttura hija identika għall-verżjoni sinkrona, ħlief għall-kliem ewlieni await u async for. Hekk kif il-kodiċi tiegħek ikun qed jaħdem f’server web, din hija l-varjant li trid tuża.

Meta tagħmel streaming u meta le

F’interfaċċa ta’ chat, l-istreaming huwa dejjem obbligatorju: il-kumdità tal-qari hija f’logħba. Fuq in-naħa tal-API tal-backend, jiswielha li tħaddmu sakemm il-frontend tiegħek ikun jista’ jikkonsma Server-Sent Events. Għal kwalunkwe rispons itwal minn ftit sentenzi, il-gwadann fil-latenza perċepita jiġġustifika l-kumplessità miżjuda. Bil-kontra, f’skript batch li qed jipproċessa elf dokument u jikteb ir-riżultati f’fajl, ħadd mhu qed iħares lejn l-iskrin: chat.complete() tibqa’ l-aktar sempliċi u perfetta għall-għan.

Punti Ewlenin

  • chat.stream() jirritorna iteratur ta’ biċċiet għal wiri progressiv
  • Il-kontenut jinsab f’chunk.data.choices[0].delta.content
  • Uża flush=True fis-sejħiet print() tiegħek għal wiri f’ħin reali
  • Irrikostruwixxi r-rispons sħiħ billi takkumula l-biċċiet jekk ikun meħtieġ
  • Il-verżjoni asinkrona chat.stream_async() hija rrakkomandata għal applikazzjonijiet web