Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Atbildes straumēšana Python valodā

Nodarbība 6 no 14 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Problēma, ko atrisina straumēšana
  2. Metodes chat.stream() izmantošana
  3. Ko satur katra daļa
  4. Vienlaicīga attēlošana un saglabāšana
  5. Asinhronā varianta izmantošana
  6. Kad straumēt un kad to izlaist
  7. Galvenās atziņas

Problēma, ko atrisina straumēšana

Izmantojot chat.complete(), tu gaidi, kamēr modelis ģenerē visu atbildi, pirms saņemsi pirmo rakstzīmi. Īsai atbildei šī aizture paliek nepamanīta. Taču detalizētai analīzei, garam koda fragmentam vai spriedumam vairākās rindkopās lietotājs vairākas sekundes skatās tukšā ekrānā. Tērzēšanas saskarnē pat dažas klusuma sekundes var likt lietotnei izskatīties iesaldētai.

Straumēšana maina šo uztveri: atbilde pienāk pakāpeniski, pa daļām, un tiek attēlota progresīvi, tieši tāpat kā tev pazīstamajās tērzēšanas saskarnēs. Kopējais ģenerēšanas laiks nesamazinās ne par milisekundi, taču pirmais vārds parādās gandrīz uzreiz. Tieši šo sākotnējo aizturi lietotājs faktiski izjūt.

Metodes chat.stream() izmantošana

Mistral SDK V2 piedāvā metodi chat.stream(), kas atgriež daļu iteratoru viena objekta vietā:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {
            "role": "user",
            "content": "Describe the steps to deploy a Flask application on a Linux server."
        }
    ]
)

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        print(content, end="", flush=True)

# Final newline
print()

Šajā ciklā divas detaļas ir izšķirošas. Pārbaude if content ir būtiska, jo dažas daļas pienāk bez teksta un citādi izdrukātu None. Savukārt flush=True piespiež Python uzreiz rakstīt izvadi, negaidot, kamēr buferis piepildīsies. Bez tā viss teksts parādītos vienā blokā beigās, pilnībā anulējot vēlamo ieguvumu.

Aspektschat.complete()chat.stream()
Atgriežamā vērtībaPilns objektsDaļu iterators
Uztvertā latentumsAugsts (pilna gaidīšana)Zems (ātrs pirmais tokens)
Teksta piekļuveresponse.choices[0].message.contentchunk.data.choices[0].delta.content
Tokenu lietojumsPieejams atbildēPieejams pēdējā daļā

Ko satur katra daļa

Katra daļa nes delta, proti, veidojamās atbildes fragmentu. To inspectējot, tu piekļūsti gan tekstam, gan straumes beigu metadatiem:

for chunk in stream:
    delta = chunk.data.choices[0].delta

    # Text content (can be None for some chunks)
    text = delta.content

    # Stop reason (None except for the last chunk)
    end = chunk.data.choices[0].finish_reason

    if text:
        print(text, end="", flush=True)

    if end:
        print(f"\n[Stream end: {end}]")

Plūsma vienmēr seko vienai horeogrāfijai: pirmā daļa parasti nes assistant lomu, starpposma daļas piegādā tekstu mazos gabaliņos, bet pēdējā nodrošina finish_reason. Pārbaudot šo pēdējo daļu, tu nosaki, vai atbilde beidzās normāli vai tika pārtraukta, sasniedzot max_tokens.

Vienlaicīga attēlošana un saglabāšana

Straumēšanai ir trūkums: teksts rit garām, bet tu to nekur nepatur. Tomēr reālām lietotnēm bieži vien ir nepieciešams arhivēt atbildi datubāzē sarunu vēstures vajadzībām. Risinājums ir uzkrāt fragmentus, vienlaikus tos attēlojot:

import os
from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

stream = client.chat.stream(
    model="mistral-small-latest",
    messages=[
        {"role": "user", "content": "List five Python web frameworks."}
    ]
)

full_response = []

for chunk in stream:
    content = chunk.data.choices[0].delta.content
    if content:
        full_response.append(content)
        print(content, end="", flush=True)

print()

# The reconstituted full response
final_text = "".join(full_response)
print(f"\nTotal length: {len(final_text)} characters")

Ņem vērā saraksta izmantošanu, kam seko galīgais "".join(), nevis virkņu konkatenāciju katrā cikla iterācijā. Garai atbildei pēdējā pieeja katram saņemtajam fragmentam kopē visu uzkrāto tekstu, kas ir neefektīvi.

Asinhronā varianta izmantošana

Tīmekļa serverī (FastAPI, aiohttp) sinhronā versija bloķē pavedienu visas ģenerēšanas laikā, iesaldējot citus notiekošos pieprasījumus. Tāpēc SDK piedāvā chat.stream_async():

import asyncio
import os
from mistralai.client import Mistral

async def generate_response():
    client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    stream = await client.chat.stream_async(
        model="mistral-small-latest",
        messages=[
            {"role": "user", "content": "Explain the concept of a coroutine in Python."}
        ]
    )

    async for chunk in stream:
        content = chunk.data.choices[0].delta.content
        if content:
            print(content, end="", flush=True)

    print()

asyncio.run(generate_response())

Struktūra ir identiska sinhronajai versijai, izņemot atslēgvārdus await un async for. Tiklīdz tavs kods darbojas tīmekļa serverī, tev ir jāizmanto tieši šī varianta.

Kad straumēt un kad to izlaist

Tērzēšanas saskarnē straumēšana vienmēr ir obligāta: tas ir lasīšanas komforta jautājums. Aizmugures (backend) API pusē ir vērts to aktivizēt, ja tava frontend lietotne spēj patērēt Server-Sent Events. Jebkurai atbildei, kas garāka par dažiem teikumiem, ieguvums uztvertajā latentumā attaisno papildu sarežģītību. Turpretī, veidojot paketes skriptu, kas apstrādā tūkstoš dokumentu un raksta rezultātus failā, neviens neskatās uz ekrānu: chat.complete() paliek vienkāršāks un pilnīgi pietiekams risinājums.

Galvenās atziņas

  • chat.stream() atgriež daļu iteratoru pakāpeniskai attēlošanai
  • Saturs atrodas chunk.data.choices[0].delta.content
  • Izmanto flush=True savos print() izsaukumos, lai nodrošinātu attēlošanu reāllaikā
  • Rekonstruē pilnu atbildi, uzkrājot daļas, ja tas ir nepieciešams
  • Asinhronā versija chat.stream_async() ir ieteicama tīmekļa lietotnēm