Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Streaming SSE

Lezzjoni 5 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Tweġibiet f’ħin reali b’Server-Sent Events
  2. Streaming vs mhux streaming
  3. Il-protokoll SSE fid-dettall
  4. Attiva l-streaming f’Python
  5. Struttura ta’ chunk
  6. Irrikostruwixxi t-tweġiba sħiħa
  7. Meta tuża l-streaming
  8. Punti Ewlenin

Tweġibiet f’ħin reali b’Server-Sent Events

B’mod predefinit, l-API tal-Chat Completions jistenna sakemm il-mudell jispiċċa jiġġenera t-tweġiba kollha tiegħu qabel ma jibgħatha lura lejk. Għal mistoqsija qasira, ħadd ma jinnota d-dewmien. Madankollu, għal rapport ta’ elf kelma, dan ifisser diversi sekondi ta’ skrin vojt, u jħalli lill-utent tiegħek jistaqsi jekk l-applikazzjonix ikkrollatx. Is-streaming isolvi din il-problema billi jibgħat it-tokens hekk kif jiġu ġġenerati, u joħloq l-effett famuż tat-typewriter li tara fl-interfaċċi konversazzjonali.

Il-protokoll użat huwa Server-Sent Events (SSE), standard HTTP li jippermetti lis-server jibgħat data lill-klijent kontinwament fuq konnessjoni persistenti. M’hemm xejn eżotiku hawn: l-ebda WebSockets biex tinstalla, l-ebda dipendenzi extra.

Streaming vs mhux streaming

F’modalità mhux streaming, li hija d-default, il-klijent jibgħat it-talba u jistenna t-tweġiba sħiħa:

Client ──── request ────► Server
         (wait 3-10s)
Client ◄── complete response ── Server

Il-vantaġġ huwa s-sempliċità: it-tweġiba hija atomika, oġġett JSON wieħed li huwa faċli biex tipproċessah, tivvalidah u taħżnu. L-iżvantaġġ huwa daqstant ċar: il-latency perċepita hija għolja għax l-utent ma jara xejn matul il-proċess kollu tal-ġenerazzjoni.

F’modalità streaming, is-server jibgħat it-tokens wieħed wieħed, jew f’gruppi żgħar:

Client ──── request ────► Server
Client ◄── chunk 1 ─────── Server  (after ~200ms)
Client ◄── chunk 2 ─────── Server  (after ~250ms)
Client ◄── chunk 3 ─────── Server  (after ~300ms)
...
Client ◄── [DONE] ──────── Server

Il-latency perċepita tonqos drammatikament—l-ewwel karattru jidher fi żmien ftit mijiet ta’ millisekondi—u dan itejjeb b’mod sinifikanti l-esperjenza tal-utent. Minflok, trid tirrikostruwixxi l-messaġġ fuq in-naħa tal-klijent u timmaniġġja stat li ma jibqax jiġi bħala blokk wieħed.

Il-protokoll SSE fid-dettall

Hekk tidher eżattament l-istream HTTP li tirċievi:

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"Hello"}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":" "}}],"usage":null}

data: {"id":"cmpl-abc","choices":[{"delta":{"content":"!"}}],"usage":null}

data: [DONE]

Kull linja tibda b’data: segwita minn oġġett JSON, u linji vojta jservu bħala separaturi bejn l-avvenimenti. Innota d-dettall li jaqbad lil kulħadd fl-ewwel implimentazzjoni tiegħu: il-framment tat-test jinsab fil-qasam delta, mhux f’message bħal fil-modalità klassika. L-istream jispiċċa b’avveniment data: [DONE], li jissinjala b’mod espliċitu t-tmiem. Mingħajru, ma tkunx kapaċi tgħarraf bejn ġenerazzjoni li spiċċat u konnessjoni li nqatgħet.

Attiva l-streaming f’Python

Mas-SDK ta’ Mistral, tattivah billi ssejjaħ chat.stream() minflok chat.complete():

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[
        {"role": "user", "content": "Explain how an electric motor works."}
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

print()  # Final newline

L-argumentu flush=True jistħoqqilu spjegazzjoni, peress li li tinseh huwa l-kawża klassika ta’ streaming li “ma jaħdimx”. Mingħajru, Python iżomm il-karattri fil-buffer u jurihom f’blokok. Dan jikkanċella viżwalment il-benefiċċji kollha tal-streaming, anke jekk iċ-chunks qed jaslu sewwa.

Struttura ta’ chunk

Chunk fl-istream ma jaqraħx bħal tweġiba sħiħa, u l-mogħdijiet ta’ aċċess ivarjaw:

# Non-streaming: response.choices[0].message.content
# Streaming:     chunk.data.choices[0].delta.content

# The first chunk often contains the role
# chunk.data.choices[0].delta.role == "assistant"

# Subsequent chunks contain text fragments
# chunk.data.choices[0].delta.content == "Hello"

# The last chunk contains finish_reason
# chunk.data.choices[0].finish_reason == "stop"

L-ewwel chunk ġeneralment iġorr ir-rwol mingħajr test, dawk li jmiss iġorru l-frammenti, u l-aħħar wieħed jipprovdi l-finish_reason. Għalhekk il-kontroll if content: fil-kodiċi ta’ qabel mhuwiex prekawzjoni mhux meħtieġa: li tikkonkatena valur None ikkawża li l-linja tfalli fl-ewwel iterazzjoni.

Irrikostruwixxi t-tweġiba sħiħa

Li turi l-frammenti mhuwiex biżżejjed meta jkollok bżonn iżżomm it-tweġiba—pereżempju, biex iżżidha mal-istorja tal-konversazzjoni, tirreġistrah, jew taħżnu f’database. Għalhekk trid takkumula t-test parallelment mal-wiri tiegħu:

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

stream = client.chat.stream(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 5 programming languages."}]
)

full_response = ""
finish_reason = None

for chunk in stream:
    delta = chunk.data.choices[0].delta
    if delta.content:
        full_response += delta.content
        print(delta.content, end="", flush=True)

    if chunk.data.choices[0].finish_reason:
        finish_reason = chunk.data.choices[0].finish_reason

print(f"\n\nFinish reason: {finish_reason}")
print(f"Complete response ({len(full_response)} characters)")

Il-varjabbli finish_reason tiġi maqbuda fl-istess ċiklu għall-istess raġuni bħal fil-modalità klassika: tweġiba maqtugħa minn max_tokens tidher fuq l-iskrin eżattament bħal tweġiba sħiħa, u biss dan il-qasam jgħidlek id-differenza.

Meta tuża l-streaming

Is-streaming mhux dejjem aħjar. Huwa indikat kull meta bniedem ikun qed iħares lejn l-iskrin, iżda huwa superfluwu jew saħansitra ta’ ħsara meta magna tkun qed tipproċessa l-output.

Każ ta’ użuRakkomandazzjoni
Chatbot interattivStreaming (UX aħjar)
Ipproċessar bil-biċċiet (Batch)Mhux streaming (aktar sempliċi)
API tal-backend għall-frontendStreaming (SSE lejn il-browser)
Pipeline tad-dataMhux streaming (ipproċessar atomiku)
Estrazzjoni strutturataMhux streaming (parsing JSON aktar affidabbli)

L-aħħar każ huwa l-aktar instruttiv. Jekk qed tistenna JSON, is-streaming ma jżid xejn: ma tistax tipparsja oġġett mhux komplut, u xorta waħda jkollok tistenna l-aħħar framment. Aħjar iżżomm is-sejħa atomika u l-kodiċi sempliċi.

Punti Ewlenin

  • Is-streaming inaqqas il-latency perċepita billi jibgħat it-tokens hekk kif jiġu ġġenerati
  • Il-protokoll SSE huwa standard HTTP sempliċi u robust
  • F’modalità streaming, uża delta.content minflok message.content
  • Akkumula l-frammenti fuq in-naħa tal-klijent biex tirrikostruwixxi t-tweġiba sħiħa
  • Ippreferixxi l-streaming għall-interfaċċi tal-utent, u mhux streaming għall-ipproċessar awtomatizzat