Salt la conținutul principal
Română— Alege o limbă
Meniu

Răspunsuri în flux (Streaming) în Python

Lecția 6 din 14 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Problema pe care o rezolvă streaming-ul
  2. Utilizarea chat.stream()
  3. Ce conține un fragment
  4. Afișarea și salvarea simultană
  5. Varianta asincronă
  6. Când să folosiți streaming-ul și când să îl omiteți
  7. Puncte cheie

Problema pe care o rezolvă streaming-ul

Cu chat.complete(), așteptați ca modelul să genereze întregul răspuns înainte de a primi primul caracter. Pentru un răspuns scurt, această întârziere trece neobservată. Însă, pentru o analiză detaliată, un fragment de cod lung sau un raționament pe mai multe paragrafe, utilizatorul se uită la un ecran gol timp de câteva secunde. Într-o interfață de chat, chiar și câteva secunde de tăcere pot da impresia că aplicația s-a blocat.

Streaming-ul schimbă această percepție: răspunsul sosește incremental, bucată cu bucată, și se afișează progresiv, exact ca în interfețele de chat pe care le cunoașteți. Timpul total de generare nu scade cu nici o milisecundă, dar primul cuvânt apare aproape instantaneu. Această întârziere inițială este ceea ce simte de fapt utilizatorul.

Utilizarea chat.stream()

Mistral SDK V2 expune metoda chat.stream(), care returnează un iterator de fragmente în loc de un singur obiect:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Două detalii fac diferența în acest ciclu. Verificarea if content este esențială deoarece unele fragmente sosesc fără text și, altfel, ar afișa None. Iar flush=True forțează Python să scrie imediat în ieșire, în loc să aștepte ca buffer-ul să se umple. Fără aceasta, tot textul ar apărea într-un singur bloc la final, anulând complet beneficiul urmărit.

Aspectchat.complete()chat.stream()
ReturnareObiect completIterator de fragmente
Latență perceputăRidicată (așteptare totală)Scăzută (primul token rapid)
Acces la textresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Utilizare tokeniDisponibilă în răspunsDisponibilă în ultimul fragment

Ce conține un fragment

Fiecare fragment conține un delta, adică o parte din răspunsul în curs de construcție. Inspectându-l, accesați atât textul, cât și metadatele de sfârșit de flux:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Conținut text (poate fi None pentru unele fragmente)
    text = delta.content

    # Motivul opririi (None exceptând ultimul fragment)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Fluxul urmează întotdeauna aceeași coregrafie: primul fragment conține de obicei rolul assistant, fragmentele intermediare livrează textul în bucăți mici, iar ultimul oferă finish_reason. Verificând acest ultim fragment, determinați dacă răspunsul s-a încheiat normal sau a fost întrerupt de max_tokens.

Afișarea și salvarea simultană

Streaming-ul are un dezavantaj: textul defilează, dar nu îl păstrați nicăieri. Totuși, o aplicație din lumea reală are adesea nevoie să archiveze răspunsul într-o bază de date pentru istoricul conversației. Soluția este acumularea fragmentelor în timp ce le afișați:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# Răspunsul complet reconstituit
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Rețineți utilizarea unei liste urmată de un "".join() final, în loc de concatenarea șirurilor la fiecare iterație a buclei. Pentru un răspuns lung, această din urmă abordare copiază tot textul acumulat pentru fiecare fragment primit, ceea ce este ineficient.

Varianta asincronă

Într-un server web—FastAPI, aiohttp—versiunea sincronă blochează firul de execuție pe întreaga durată a generării, înghețând alte cereri în curs. De aceea, SDK-ul oferă chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Structura este identică cu versiunea sincronă, cu excepția cuvintelor cheie await și async for. De îndată ce codul dumneavoastră rulează într-un server web, aceasta este varianta pe care trebuie să o utilizați.

Când să folosiți streaming-ul și când să îl omiteți

Într-o interfață de chat, streaming-ul este întotdeauna obligatoriu: este în joc confortul de lectură. Din partea API-ului backend, merită activat atâta timp cât frontend-ul dumneavoastră poate consuma Server-Sent Events. Pentru orice răspuns mai lung de câteva propoziții, câștigul în latența percepută justifică complexitatea adăugată. În schimb, într-un script batch care procesează o mie de documente și scrie rezultatele într-un fișier, nimeni nu se uită la ecran: chat.complete() rămâne mai simplu și perfect adecvat.

Puncte cheie

  • chat.stream() returnează un iterator de fragmente pentru afișare progresivă
  • Conținutul se află în chunk.data.choices[0].delta.content
  • Utilizați flush=True în apelurile print() pentru afișare în timp real
  • Reconstruiți răspunsul complet acumulând fragmentele, dacă este necesar
  • Versiunea asincronă chat.stream_async() este recomandată pentru aplicațiile web