Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Pokalbiai keliais etapais: samprotavimo išsaugojimas istorijoje

Paskaita 7 iš 12 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Taisyklė: atkartokite visą žinutę
  2. Etaloninis kodas
  3. Kaina
  4. Srautinis perdavimas ir Conversations API
  5. Magistral sugeneruotos istorijos
  6. Svarbiausi punktai

Pamoka perrašyta 2026 m. lapkričio 2 d. Anksčiau joje buvo nagrinėjamas Magistral modelio parametras prompt_mode, kuris buvo pašalintas kartu su šiuo modeliu. Dabar joje aptariama taisyklė, pabrėžta dabartinėje dokumentacijoje: pokalbiuose keliais etapais samprotavimas turi likti istorijoje. Šaltinis: Reasoning — Multi-turn conversations.

Taisyklė: atkartokite visą žinutę

Naudodami „Chat Completions“ API, jūs esate atsakingi už pokalbio istorijos siuntimą kiekviename etape. Pagunda didelė – įtraukti tik atsakymo tekstą, nes jis trumpesnis ir lengviau skaitomas. Tačiau „Mistral“ dokumentacija yra aiški: visada atkartokite visą asistento žinutę, įskaitant samprotavimo fragmentus. Samprotavimo pėdsakų pašalinimas pereinant nuo vieno etapo prie kito blogina modelio veikimą, nes modelis remiasi jais išlaikydamas nuoseklumą. Taupant žetonus, nukenčia kokybė.

Etaloninis kodas

Paprastiausias būdas – pridėti SDK grąžintą žinutės objektą į istoriją tokį, koks jis yra:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Rodymas: tik atsakymo tekstas
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # Istorija: visa žinutė, įskaitant samprotavimą
    messages.append(assistant_message)

Parametras timeout_ms padidina kliento laukimo laiką, o tai naudinga, kai ilgas samprotavimas prailgina atsakymo gavimo laiką. Svarbiausias dalykas yra paskutinė eilutė: jūs pridedate ne iš teksto sukonstruotą žinutę, o patį assistant_message objektą.

Kaina

Oficialus pavyzdys iliustruoja poveikį žetonams. Pirmajame etape užklausoje yra 25 įvesties žetonai: tik klausimas. Modelis atsako 187 žetonais, įskaitant samprotavimą. Antrajame etape įvestis išauga iki 221 žetono: pirmasis klausimas (25), visas pirmojo etapo atsakymas su samprotavimu (187) ir naujas klausimas (9). Vieno etapo išvesties žetonai tampa kito etapo įvesties žetonais, ir būtent tai leidžia modeliui vienareikšmiškai suprasti, į kokį „rezultatą“ vartotojas nuorodo.

Ilgo pokalbio metu dėl šio mechanizmo istorija auga su kiekvienu etapu. Tai turi dvi praktines pasekmes: stebėkite usage.prompt_tokens, kuris didėja pokalbiui vykstant, ir turėkite omenyje modelio konteksto langą (256 000 žetonų modeliui Small 4, vienas milijonas – modeliui Large 4). Jei istorija tampa per sunki, pradėkite naują pokalbį su ankstesnio pokalbio santrauka, užuot ištrynę samprotavimo pėdsakus.

Srautinis perdavimas ir Conversations API

Srautiniu režimu atsakymas gaunamas dalimis (3 pamoka): todėl istorijai turite patys iš naujo surinkti visą žinutę, įskaitant samprotavimą, o tai apsunkina kodą. Jei jūsų programa skirta pokalbiams, Conversations API siūlo alternatyvą: istorija palaikoma serverio pusėje, o jūs tęsiate dialogą naudodami conversations.append, nesiųsdami ankstesnių etapų iš naujo (4 pamoka).

Magistral sugeneruotos istorijos

Jei saugote Magistral sugeneruotus pokalbius, atkreipkite dėmesį, kad jų formatas kito. 25.07 ir 25.09 versijose samprotavimas jau buvo atskirtas į thinking fragmentus, kaip ir dabar. 25.06 versijoje, kuri buvo pirmasis leidimas, samprotavimas buvo tiesiogiai įterptas į atsakymo tekstą tarp žymų <think> ir “. Prieš atkartodami tokias istorijas naudodami Small 4 arba Large 4, išbandykite tęsimą keliuose pokalbiuose: nėra garantijos, kad dabartinis modelis panaudos kitokiu formatu kito modelio parašytą samprotavimą.

Svarbiausi punktai

  • Naudojant „Chat Completions“, atkartokite visą asistento žinutę, įskaitant samprotavimą
  • Samprotavimo fragmentų pašalinimas taupo žetonus, tačiau labai pablogina kokybę
  • Vieno etapo išvesties žetonai tampa kito etapo įvesties žetonais: stebėkite prompt_tokens
  • Srautiniu režimu Conversations API leidžia išvengti poreikio rankiniu būdu surinkti istoriją
  • Magistral 25.06 versijos istorijose samprotavimas ir atsakymas buvo sumaišyti tekste, naudojant <think> žymas