Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Srautinių atsakymų generavimas naudojant Python

Paskaita 6 iš 14 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Problema, kurią sprendžia srautinis perdavimas
  2. Naudojimas su chat.stream()
  3. Ką turi kiekviena dalis
  4. Vienu metu rodyti ir saugoti
  5. Asinchroninė versija
  6. Kada naudoti srautinį perdavimą, o kada jo vengti
  7. Svarbiausi punktai

Problema, kurią sprendžia srautinis perdavimas

Naudojant chat.complete(), tenka laukti, kol modelis sugeneruos visą atsakymą, prieš gaunant bent vieną simbolį. Trumpam atsakymui šis delsas nepastebimas. Tačiau atliekant išsamią analizę, generuojant ilgą kodo fragmentą ar daugiapastraibį samprotavimą, vartotojas kelias sekundes žiūri į tuščią ekraną. Pokalbio sąsajoje net kelių sekundžių tyla gali sukelti įspūdį, kad programa užstrigo.

Srautinis perdavimas (streaming) keičia šį suvokimą: atsakymas gaunamas palaipsniui, dalimis po dalies, ir rodomas taip pat, kaip įprastose pokalbių sąsajose. Bendras generavimo laikas nesutrumpėja nė milisekunde, tačiau pirmasis žodis pasirodo beveik iškart. Būtent tą pradinį delsą vartotojas jaučia labiausiai.

Naudojimas su chat.stream()

Mistral SDK V2 pateikia metodą chat.stream(), kuris grąžina dalių iteratorių vietoj vieno objekto:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Šiame cikle du dalykai yra lemiami. Patikrinimas if content yra būtinas, nes kai kurios dalys atkeliauja be teksto ir kitaip būtų atspausdinta None. O flush=True priverčia „Python“ nedelsiant išvesti duomenis, nelaukiant, kol bus užpildyta buferinė atmintis. Be jo, visas tekstas pasirodytų vienu bloku pabaigoje, visiškai panaikindamas norimą naudą.

Aspektaschat.complete()chat.stream()
Grąžinama reikšmėPilnas objektasDalių iteratorius
Suvokiama delsaDidelė (laukiama visko)Maža (greitas pirmasis tokenas)
Teksto prieigaresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Tokenų naudojimasPateikiama atsakymePateikiama paskutinėje dalyje

Ką turi kiekviena dalis

Kiekviena dalis turi delta reikšmę, tai yra, kuriamos atsakymo fragmentą. ją išnagrinėjęs gauni prieigą tiek prie teksto, tiek prie srauto pabaigos metaduomenų:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Teksto turinys (kai kurioms dalims gali būti None)
    text = delta.content

    # Sustojimo priežastis (None, išskyrus paskutinę dalį)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Procesas visada vyksta pagal tą pačią choreografiją: pirmoji dalis paprastai turi assistant vaidmenį, tarpinės dalys perduoda tekstą mažais gabalėliais, o paskutinė pateikia finish_reason. Patikrinęs šią paskutinę dalį nustatai, ar atsakymas baigėsi normaliai, ar buvo nutrauktas dėl max_tokens ribos.

Vienu metu rodyti ir saugoti

Srautinis perdavimas turi trūkumą: tekstas slenka ekrane, bet niekur jo nesaugai. Tačiau realiose programose dažnai reikia archyvuoti atsakymą duomenų bazėje pokalbių istorijai. Sprendimas – kaupti fragmentus tuo pačiu metu juos rodant:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# Atkurtas pilnas atsakymas
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Atkreipk dėmesį, kad naudojamas sąrašas, o pabaigoje taikomas "".join(), vietoj eilučių sujungimo kiekvienoje ciklo iteracijoje. Ilgam atsakymui pastarasis būdas kopijuotų visą sukauptą tekstą kiekvienam gautam fragmentui, kas yra neefektyvu.

Asinchroninė versija

Žiniatinklio serveryje (pvz., „FastAPI“, „aiohttp“) sinchroninė versija užblokuotų giją viso generavimo metu, sustabdydama kitus vykdomus užklausimus. Todėl SDK pateikia chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Struktūra identiška sinchroninei versijai, išskyrus raktažodžius await ir async for. Kai tik tavo kodas veikia žiniatinklio serveryje, privalai naudoti būtent šią versiją.

Kada naudoti srautinį perdavimą, o kada jo vengti

Pokalbio sąsajoje srautinis perdavimas visada yra privalomas: tai klausimas apie skaitymo komfortą. Backend API pusėje verta jį įjungti, jei tavo frontendas gali apdoroti „Server-Sent Events“. Bet kokiam atsakymui, ilgesniam nei keli sakiniai, suvokiamos delsos sumažėjimas pateisina papildomą sudėtingumą. Tuo tarpu paketo scenarijuje, apdorojančiame tūkstantį dokumentų ir rašančiame rezultatus į failą, niekas nežiūri į ekraną: chat.complete() lieka paprastesnis ir visiškai tinkamas sprendimas.

Svarbiausi punktai

  • chat.stream() grąžina dalių iteratorių palaipsniam rodymui
  • Turinys yra chunk.data.choices[0].delta.content
  • Naudok flush=True savo print() kvietimuose, kad rodymas būtų realiuoju laiku
  • Jei reikia, atkurk pilną atsakymą kaupdamas dalis
  • Asinchroninė versija chat.stream_async() rekomenduojama žiniatinklio programoms