Pogovori z več krogi: ohranjanje sklepanja v zgodovini
Na tej strani
Lekcija je bila prepisana 2. novembra 2026. Prej je obravnavala parameter
prompt_modemodela Magistral, ki je bil pri tem modelu odstranjen. Zdaj obravnava pravilo, poudarjeno v trenutni dokumentaciji: v pogovorih z več krogi mora sklepanje ostati v zgodovini. Vir: Reasoning — Multi-turn conversations.
Pravilo: znova pošlji celotno sporočilo
Pri API-ju Chat Completions si ti odgovoren, da ob vsakem krogu pošlješ zgodovino pogovora. Močna je skušnjava, da vključiš le besedilo odgovora, ki je krajše in bolj berljivo. Dokumentacija podjetja Mistral je izrecna: vedno znova pošlji celotno sporočilo asistenta, vključno z delčki sklepanja. Odstranjevanje sledi sklepanja iz enega kroga v naslednjega poslabša zmogljivost modela, saj se model nanjo zanaša za ohranjanje koherence. Varčevanje s žetoni pride na račun kakovosti.
Referenčna koda
Najpreprostejši pristop je, da objekt sporočila, ki ga vrne SDK, dodaš v zgodovino točno takšnega, kot je:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Prikaz: samo besedilo odgovora
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Zgodovina: celotno sporočilo, vključno s sklepanjem
messages.append(assistant_message)
Parameter timeout_ms poveča čas čakanja odjemalca, kar je koristno, ko dolgo sklepanje podaljša čas odziva. Ključna točka je zadnja vrstica: ne dodaš sporočila, rekonstruiranega le iz besedila, temveč samega assistant_message.
Strošek
Uradni primer ponazarja vpliv na število žetonov. V prvem krogu zahtevek vsebuje 25 vhodnih žetonov: samo vprašanje. Model odgovori s 187 žetoni, vključno s sklepanjem. V drugem krogu se vhod poveča na 221 žetonov: prvo vprašanje (25), celoten odgovor prvega kroga z njegovim sklepanjem (187) in novo vprašanje (9). Izhodni žetoni iz enega kroga postanejo vhodni žetoni v naslednjem in prav to modelu omogoča, da nedvoumno ve, na kateri „rezultat” se uporabnik nanaša.
V dolgem pogovoru ta mehanizem povzroči, da zgodovina z vsakim krogom raste. Dve praktični posledici: spremljaj usage.prompt_tokens, ki z pogovorom narašča, in imej v mislih okno konteksta modela (256.000 žetonov za Small 4, milijon za Large 4). Če zgodovina postane pretežka, začni nov pogovor s povzetkom prejšnjega, namesto da bi odstranil sledi sklepanja.
Pretakanje in API Conversations
V načinu pretakanja odgovor prispe v delčkih (lekcija 3): za zgodovino moraš zato sam sestaviti celotno sporočilo, vključno s sklepanjem, kar zaplete kodo. Če je tvoja aplikacija pogovorna, API Conversations ponuja alternativo: zgodovina se vzdržuje na strani strežnika in izmenjavo nadaljuješ z conversations.append, ne da bi znova pošiljal prejšnje kroge (lekcija 4).
Zgodovine, ki jih je ustvaril Magistral
Če ohranjaš pogovore, ki jih je ustvaril Magistral, upoštevaj, da se je njihova oblika spreminjala. Različici 25.07 in 25.09 sta že ločili sklepanje v delčke thinking, kot je danes. Različica 25.06, prva izdaja, je sklepanje postavila neposredno v besedilo odgovora, med znački <think> in “. Preden takšne zgodovine znova predvajaš na Small 4 ali Large 4, preizkusi nadaljevanje na nekaj pogovorih: ni zagotovila, da bo trenutni model izkoristil sklepanje, zapisano v drugačni obliki s strani drugega modela.
Ključne ugotovitve
- Pri Chat Completions znova pošlji celotno sporočilo asistenta, vključno s sklepanjem
- Odstranjevanje delčkov sklepanja prihrani žetone, a bistveno poslabša kakovost
- Izhodni žetoni iz enega kroga postanejo vhodni žetoni v naslednjem: spremljaj
prompt_tokens - Pri pretakanju API Conversations odpravi potrebo po ročnem sestavljanju zgodovine
- Zgodovine Magistral 25.06 so mešale sklepanje in odgovor v besedilu z uporabo značk
<think>