Sarunas vairākos soļos: spriešanas saglabāšana vēsturē
Šajā lapā
Nodarbība pārrakstīta 2026. gada 2. novembrī. Iepriekš tā aptvēra Magistral parametru
prompt_mode, kas tika izņemts līdz ar šo modeli. Tagad tā aplūko noteikumu, kas izcelts pašreizējā dokumentācijā: sarunās vairākos soļos spriešanai ir jāpaliek vēsturē. Avots: Reasoning — Multi-turn conversations.
Noteikums: atkārto pilno ziņojumu
Izmantojot Chat Completions API, tev ir jānosūta sarunas vēsture katrā solī. Kārdinājums iekļaut tikai atbildes tekstu ir liels, jo tas ir īsāks un lasāmāks. Mistral dokumentācija ir nepārprotama: vienmēr atkārto asistenta pilno ziņojumu, ieskaitot spriešanas fragmentus. Spriešanas pēdu izsvītrošana no viena soļa uz nākamo pasliktina modeļa veiktspēju, jo tas paļaujas uz tām, lai uzturētu loģisko sakarību. Tokenu ietaupīšana notiek uz kvalitātes rēķina.
Atsauces kods
Vienkāršākā pieeja ir pievienot vēsturei tieši tādu pašu ziņojuma objektu, ko atgriež SDK:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Attēlojums: tikai atbildes teksts
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Vēsture: pilns ziņojums, ieskaitot spriešanu
messages.append(assistant_message)
Parametrs timeout_ms palielina klienta gaidīšanas laiku, kas ir noderīgi, ja gara spriešana pagarina atbildes laiku. Kritiskais punkts ir pēdējā rindiņa: tu nepievieno ziņojumu, kas rekonstruēts tikai no teksta, bet gan pašu assistant_message.
Izmaksas
Oficiālais piemērs ilustrē ietekmi uz tokeniem. Pirmajā solī pieprasījums satur 25 ievades tokenus: tikai jautājumu. Modelis atbild ar 187 tokeniem, ieskaitot spriešanu. Otrajā solī ievade pieaug līdz 221 tokenam: pirmais jautājums (25), pilnā pirmā soļa atbilde ar spriešanu (187) un jaunais jautājums (9). Viena soļa izvades tokeni kļūst par nākamā soļa ievades tokeniem, un tieši tas ļauj modelim viennozīmīgi saprast, uz kādu “rezultātu” lietotājs atsaucas.
Garā sarunā šis mehānisms liek vēsturei augt ar katru soli. Tam ir divas praktiskas sekas: uzraugi usage.prompt_tokens, kas pieaug līdz ar sarunu, un ņem vērā modeļa konteksta loga lielumu (256 000 tokeni priekš Small 4, viens miljons priekš Large 4). Ja vēsture kļūst pārāk smaga, sāc jaunu sarunu ar iepriekšējās kopsavilkumu, nevis izsvītro spriešanas pēdas.
Straumēšana un Conversations API
Straumēšanas režīmā atbilde pienāk pa daļām (3. nodarbība): vēstures uzturēšanai tev pašam ir jāsaliek kopā pilns ziņojums, ieskaitot spriešanu, kas sarežģī kodu. Ja tava lietotne ir sarunu rakstura, Conversations API piedāvā alternatīvu: vēsture tiek uzturēta servera pusē, un tu turpini apmaiņu ar conversations.append, nosūtot iepriekšējos soļus no jauna (4. nodarbība).
Magistral ģenerētās vēstures
Ja saglabā sarunas, ko ģenerējis Magistral, ņem vērā, ka to formāts ir mainījies. Versijās 25.07 un 25.09 spriešana jau bija atdalīta thinking fragmentos, tāpat kā tagad. Versijā 25.06, kas bija pirmais laidiens, spriešana atradās tieši atbildes tekstā starp <think> un “ tagiem. Pirms šādu vēstuuru atkārtošanas Small 4 vai Large 4 vidē, pārbaudi atsākšanu dažās sarunās: nav garantijas, ka pašreizējais modelis izmantos spriešanu, kas cita modeļa rakstīta citādā formātā.
Galvenās atziņas
- Chat Completions vidē atkārto asistenta pilno ziņojumu, ieskaitot spriešanu
- Spriešanas fragmentu izsvītrošana ietaupa tokenus, bet būtiski pasliktina kvalitāti
- Viena soļa izvades tokeni kļūst par nākamā soļa ievades tokeniem: uzraugi
prompt_tokens - Straumēšanas režīmā Conversations API ļauj izvairīties no vēstures manuālas salikšanas
- Magistral 25.06 vēstures jauca spriešanu un atbildi tekstā, izmantojot
<think>tagus