Razgovori u više koraka: zadržavanje rezoniranja u povijesti
Na ovoj stranici
Lekcija je ponovno napisana 2. studenog 2026. Prethodno je obrađivala parametar
prompt_modemodela Magistral, koji je s tim modelom uklonjen. Sada se bavi pravilom istaknutim u trenutnoj dokumentaciji: u razgovorima u više koraka, rezoniranje mora ostati u povijesti. Izvor: Reasoning — Multi-turn conversations.
Pravilo: ponovno slanje pune poruke
Kod API-ja Chat Completions ti si odgovoran za slanje povijesti razgovora u svakom koraku. Iskušenje da se uključi samo tekst odgovora, koji je kraći i čitljiviji, jako je veliko. Mistralova dokumentacija je izričita: uvijek ponovno pošalji punu poruku asistenta, uključujući fragmente rezoniranja. Uklanjanje traga rezoniranja iz jednog koraka u drugi narušava performanse modela jer se model oslanja na njih kako bi održao koherenciju. Ušteda tokena dolazi po cijenu kvalitete.
Referentni kod
Najjednostavniji pristup je dodavanje objekta poruke koji vraća SDK u povijest točno onakvim kakav jest:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Prikaz: samo tekst odgovora
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Povijest: puna poruka, uključujući rezoniranje
messages.append(assistant_message)
Parametar timeout_ms povećava vrijeme čekanja klijenta, što je korisno kada dugotrajno rezoniranje produžuje vrijeme odgovora. Ključna točka je zadnji redak: ne dodaješ poruku rekonstruiranu samo iz teksta, već sam assistant_message.
Trošak
Službeni primjer ilustrira utjecaj na tokene. U prvom koraku zahtjev sadrži 25 ulaznih tokena: samo pitanje. Model odgovara sa 187 tokena, uključujući rezoniranje. U drugom koraku ulaz raste na 221 token: prvo pitanje (25), puni odgovor iz prvog koraka s njegovim rezoniranjem (187) i novo pitanje (9). Izlazni tokeni iz jednog koraka postaju ulazni tokeni u sljedećem, a upravo to modelu omogućuje da nedvosmisleno zna na koji se „rezultat“ korisnik referira.
Tijekom dugog razgovora ovaj mehanizam uzrokuje rast povijesti sa svakim korakom. Dvije praktične posljedice: prati usage.prompt_tokens, koji raste s razgovorom, i imaj na umu kontekstni prozor modela (256.000 tokena za Small 4, milijun za Large 4). Ako povijest postane preteška, započni novi razgovor sa sažetkom prethodnog umjesto da izbacuješ tragove rezoniranja.
Streaming i Conversations API
U načinu streamanja odgovor stiže u komadima (Lekcija 3): za povijest stoga moraš sam sastaviti cjelovitu poruku, uključujući rezoniranje, što komplicira kod. Ako je tvoja aplikacija konverzacijska, Conversations API nudi alternativu: povijest se održava na strani poslužitelja, a razmjenu nastavljaš s conversations.append bez ponovnog slanja prethodnih koraka (Lekcija 4).
Povijesti koje je generirao Magistral
Ako čuvaš razgovore koje je generirao Magistral, imaj na umu da se njihov format mijenjao. Verzije 25.07 i 25.09 već su odvajale rezoniranje u fragmente thinking, kao što je to slučaj danas. Verzija 25.06, prvo izdanje, stavljala je rezoniranje izravno u tekst odgovora, između oznaka <think> i “. Prije ponovnog slanja takvih povijesti na Small 4 ili Large 4, testiraj nastavak na nekoliko razgovora: nema jamstva da će trenutni model iskoristiti rezoniranje zapisano u drugačijem formatu od strane drugog modela.
Ključne točke
- U Chat Completionsu ponovno pošalji punu poruku asistenta, uključujući rezoniranje
- Uklanjanje fragmenata rezoniranja štedi tokene, ali značajno narušava kvalitetu
- Izlazni tokeni iz jednog koraka postaju ulazni tokeni u sljedećem: prati
prompt_tokens - Kod streamanja, Conversations API izbjegava potrebu za ručnim sastavljanjem povijesti
- Povijesti iz Magistrala 25.06 miješale su rezoniranje i odgovor u tekstu, koristeći oznake
<think>