Salt la conținutul principal
Română— Alege o limbă
Meniu

Conversații pe mai multe ture: menținerea raționamentului în istoric

Lecția 7 din 12 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Regula: retransmiteți mesajul complet
  2. Cod de referință
  3. Costul
  4. Streaming și API-ul Conversations
  5. Istorice generate de Magistral
  6. Puncte cheie

Lecție rescrisă la 2 noiembrie 2026. Anterior, aceasta acoperea parametrul prompt_mode al lui Magistral, care a fost eliminat odată cu acel model. Acum abordează o regulă evidențiată în documentația actuală: în conversațiile pe mai multe ture, raționamentul trebuie să rămână în istoric. Sursă: Reasoning — Multi-turn conversations.

Regula: retransmiteți mesajul complet

Cu API-ul Chat Completions, dumneavoastră sunteți responsabil pentru trimiterea istoricului conversației la fiecare tură. Tentația este puternică de a include doar textul răspunsului, care este mai scurt și mai lizibil. Documentația Mistral este explicită: retransmiteți întotdeauna mesajul complet al asistentului, inclusiv fragmentele de raționament. Eliminarea urmei de raționament de la o tură la alta degradează performanța modelului, deoarece acesta se bazează pe ea pentru a menține coerența. Economisirea tokenilor se face în detrimentul calității.

Cod de referință

Cea mai simplă abordare este adăugarea obiectului mesaj returnat de SDK în istoric exact așa cum este:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Afișare: doar textul răspunsului
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # Istoric: mesaj complet, inclusiv raționamentul
    messages.append(assistant_message)

Parametrul timeout_ms mărește timpul de așteptare al clientului, ceea ce este util atunci când un raționament lung prelungește timpul de răspuns. Punctul critic este ultima linie: nu adăugați un mesaj reconstruit doar din text, ci assistant_message însuși.

Costul

Exemplul oficial ilustrează impactul asupra tokenilor. La prima tură, cererea conține 25 de tokeni de intrare: doar întrebarea. Modelul răspunde cu 187 de tokeni, inclusiv raționamentul. La a doua tură, intrarea crește la 221 de tokeni: prima întrebare (25), răspunsul complet de la prima tură cu raționamentul său (187) și noua întrebare (9). Tokenii de ieșire dintr-o tură devin tokeni de intrare la următoarea, iar acest lucru este exact ceea ce permite modelului să știe fără echivoc la ce „rezultat“ se referă utilizatorul.

Pe parcursul unei conversații lungi, acest mecanism determină creșterea istoricului la fiecare tură. Două consecințe practice: monitorizați usage.prompt_tokens, care crește odată cu conversația, și aveți în vedere fereastra de context a modelului (256.000 de tokeni pentru Small 4, un milion pentru Large 4). Dacă istoricul devine prea voluminos, începeți o nouă conversație cu un rezumat al celei precedente, în loc să eliminați urmele de raționament.

Streaming și API-ul Conversations

În modul streaming, răspunsul sosește în fragmente (Lecția 3): pentru istoric, trebuie deci să reasamblați manual un mesaj complet, inclusiv raționamentul, ceea ce complică codul. Dacă aplicația dumneavoastră este conversațională, API-ul Conversations oferă o alternativă: istoricul este menținut lato parte a serverului, iar dumneavoastră continuați schimbul cu conversations.append fără a retrimite turile anterioare (Lecția 4).

Istorice generate de Magistral

Dacă păstrați conversații generate de Magistral, rețineți că formatul lor a variat. Versiunile 25.07 și 25.09 separau deja raționamentul în fragmente thinking, așa cum se întâmplă astăzi. Versiunea 25.06, prima lansare, plasa raționamentul direct în textul răspunsului, între etichetele <think> și “. Înainte de a retransmite astfel de istorice pe Small 4 sau Large 4, testați reluarea pe câteva conversații: nu există nicio garanție că un model actual va valorifica un raționament scris într-un format diferit de către un alt model.

Puncte cheie

  • În Chat Completions, retransmiteți mesajul complet al asistentului, inclusiv raționamentul
  • Eliminarea fragmentelor de raționament economisește tokeni, dar degradează semnificativ calitatea
  • Tokenii de ieșire dintr-o tură devin tokeni de intrare la următoarea: monitorizați prompt_tokens
  • În streaming, API-ul Conversations evită necesitatea reasamblării manuale a istoricului
  • Istoricele Magistral 25.06 amestecau raționamentul și răspunsul în text, folosind etichetele <think>