Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Mitmevoorulised vestlused: põhjenduste säilitamine ajaloos

Õppetund 7 / 12 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Reegel: edasta kogu sõnum uuesti
  2. Võrdluscode
  3. Hind
  4. Voogedastus ja Conversations API
  5. Magistrali poolt genereeritud ajalood
  6. Peamised punktid

Õppetund kirjutati ümber 2. novembril 2026. Varem käsitles see Magistrali mudeli parameetrit prompt_mode, mis selle mudeliga koos eemaldati. Nüüd käsitletakse reeglit, mis on toodud välja praeguses dokumentatsioonis: mitmevoorulistes vestlustes peavad põhjendused jääma vestlusajalukku. Allikas: Reasoning — Multi-turn conversations.

Reegel: edasta kogu sõnum uuesti

Chat Completions API kasutamisel vastutad sa vestlusajaloo saatmise eest igas voorus. Kiusatus lisada ainult vastuse tekstiosa on suur, kuna see on lühem ja loetavam. Mistrali dokumentatsioon on selge: edasta assistendi kogu sõnum alati uuesti, kaasates põhjendusfragmendid. Põhjendusahela eemaldamine ühelt voorult järgmisele halvendab mudeli jõudlust, sest mudel tugineb sellele sidususe säilitamiseks. Tokenite säästmine toimub kvaliteedi arvelt.

Võrdluscode

Lihtsaim lähenemine on lisada SDK poolt tagastatud sõnumiobjekt ajalukku täpselt sellisena, nagu see on:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Kuva: ainult vastuse tekst
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # Ajalugu: kogu sõnum, kaasates põhjenduse
    messages.append(assistant_message)

Parameeter timeout_ms suurendab kliendi ooteaega, mis on kasulik, kui pikk põhjendusprotsess pikendab vastamise aega. Kriitiline punkt on viimane rida: sa ei lisa sõnumit, mis on rekonstrueeritud ainult tekstist, vaid assistant_message ennast.

Hind

Ametlik näide illustreerib mõju tokenitele. Esimeses voorus sisaldab päring 25 sisendtokenit: ainult küsimus. Mudel vastab 187 tokeniga, kaasates põhjenduse. Teises voorus kasvab sisend 221 tokenini: esimene küsimus (25), kogu esimese vooru vastus koos põhjendusega (187) ja uus küsimus (9). Ühe vooru väljundtokenitest saavad järgmise vooru sisendtokenid ja just see võimaldab mudelil üheselt mõista, millisele “tulemusele” kasutaja viitab.

Pika vestluse käigus kasvab ajalugu iga vooruga. Sellel on kaks praktilist tagajärge: jälgi usage.prompt_tokens, mis kasvab koos vestlusega, ja pea meeles mudeli kontekstiakna suurust (Small 4 puhul 256 000 tokenit, Large 4 puhul miljon). Kui ajalugu muutub liiga mahukaks, alusta uut vestlust eelmise kokkuvõttega, selle asemel et põhjendusjälgi eemaldada.

Voogedastus ja Conversations API

Voogedastusrežiimis saabub vastus tükkidena (Õppetund 3): ajaloo jaoks pead seetõttu ise tervikliku sõnumi, kaasates põhjenduse, uuesti kokku panema, mis muudab koodi keerulisemaks. Kui sinu rakendus on vestluslik, pakub Conversations API alternatiivi: ajalugu hoitakse serveripoolselt ja sa jätkad vahetust kasutades conversations.append, ilma et peaksid eelmisi voorusid uuesti saatma (Õppetund 4).

Magistrali poolt genereeritud ajalood

Kui säilitad Magistrali poolt genereeritud vestlusi, pane tähele, et nende vorming on varieerunud. Versioonid 25.07 ja 25.09 eraldasid põhjenduse juba thinking fragmentideks, nagu see on tänapäeval. Versioon 25.06, esimene väljalase, paigutas põhjenduse otse vastuse teksti, märkide <think> ja “ vahele. Enne selliste ajalugude uuesti esitamist mudelitele Small 4 või Large 4, testi jätkamist mõne vestluse peal: pole garantiid, et praegune mudel oskab ära kasutada põhjendust, mis on kirjutatud teise mudeli poolt erinevas vormingus.

Peamised punktid

  • Chat Completionsis edasta assistendi kogu sõnum uuesti, kaasades põhjenduse
  • Põhjendusfragmentide eemaldamine säästab tokeneid, kuid halvendab oluliselt kvaliteeti
  • Ühe vooru väljundtokenitest saavad järgmise vooru sisendtokenid: jälgi prompt_tokens
  • Voogedastusel väldib Conversations API vajadust ajalugu käsitsi kokku panna
  • Magistrali 25.06 ajalood segasid põhjenduse ja vastuse tekstis, kasutades sildid <think>