Konverzácie s viacerými kolami: udržiavanie usudzovania v histórii
Na tejto strane
Lekcia prepísaná 2. novembra 2026. Predtým pokrývala parameter
prompt_modemodelu Magistral, ktorý bol z tohto modelu odstránený. Teraz sa zaoberá pravidlom zdôrazneným v aktuálnej dokumentácii: v konverzáciách s viacerými kolami musí usudzovanie zostať v histórii. Zdroj: Reasoning — Multi-turn conversations.
Pravidlo: prehrať celú správu
Pri používaní API Chat Completions je tvojou zodpovednosťou odosielať históriu konverzácie v každom kole. Silné je pokušenie zahrnúť iba text odpovede, ktorý je kratší a čitateľnejší. Dokumentácia spoločnosti Mistral je však explicitná: vždy prehraj celú správu asistenta vrátane fragmentov usudzovania. Odstránenie stopy usudzovania z jedného kola do druhého zhoršuje výkon modelu, pretože sa na ňu spolieha pri udržaní koherencie. Šetrenie tokenov si vyžaduje daň v podobe kvality.
Referenčný kód
Najjednoduchší prístup spočíva v pridání objektu správy vráteného SDK do histórie presne tak, ako je:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Zobrazenie: iba text odpovede
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# História: celá správa vrátane usudzovania
messages.append(assistant_message)
Parameter timeout_ms zvyšuje čas čakania klienta, čo je užitočné, keď dlhé usudzovanie predlžuje čas odpovede. Kľúčovým bodom je posledný riadok: nepridávaš správu rekonštruovanú iba z textu, ale priamo assistant_message.
Cena
Oficiálny príklad ilustruje dopad na tokeny. V prvom kole obsahuje požiadavka 25 vstupných tokenov: iba otázku. Model odpovie 187 tokenmi vrátane usudzovania. V druhom kole vstup stúpne na 221 tokenov: prvá otázka (25), celá odpoveď z prvého kola s jej usudzovaním (187) a nová otázka (9). Výstupné tokeny z jedného kola sa stávajú vstupnými tokenmi v ďalšom a práve to umožňuje modelu jednoznačne vedieť, na ktorý „výsledok“ sa používateľ odkazuje.
Počas dlhej konverzácie tento mechanizmus spôsobuje rast histórie s každým kolom. Dva praktické dôsledky: sleduj usage.prompt_tokens, ktoré rastie spolu s konverzáciou, a maj na pamäti kontextové okno modelu (256 000 tokenov pre Small 4, jeden milión pre Large 4). Ak sa história stane príliš ťažkou, začni novú konverzáciu so zhrnutím tej predchádzajúcej, namiesto toho, aby si vystrihával stopy usudzovania.
Streamovanie a API Conversations
V režime streamovania prichádza odpoveď po častiach (Lekcia 3): pre históriu si teda musíš sám zostaviť úplnú správu vrátane usudzovania, čo komplikuje kód. Ak je tvoja aplikácia konverzačná, API Conversations ponúka alternatívu: história sa udržiava na strane servera a výmenu pokračuješ pomocou conversations.append bez opätovného odoslania predchádzajúcich kôl (Lekcia 4).
Histórie generované modelom Magistral
Ak uchovávaš konverzácie generované modelom Magistral, vezmi do úvahy, že ich formát sa menil. Verzie 25.07 a 25.09 už oddeľovali usudzovanie do fragmentov thinking, tak ako je to dnes. Verzia 25.06, prvá vydaná verzia, umiestňovala usudzovanie priamo do textu odpovede medzi značky <think> a “. Pred opätovným prehraním takýchto histórií na modeloch Small 4 alebo Large 4 otestuj obnovenie na niekoľkých konverzáciách: neexistuje záruka, že súčasný model využije usudzovanie zapísané v odlišnom formáte iným modelom.
Kľúčové poznatky
- V Chat Completions prehraj celú správu asistenta vrátane usudzovania
- Odstránenie fragmentov usudzovania šetrí tokeny, ale výrazne zhoršuje kvalitu
- Výstupné tokeny z jedného kola sa stávajú vstupnými tokenmi v ďalšom: sleduj
prompt_tokens - Pri streamovaní sa API Conversations vyhne potrebe manuálneho zostavovania histórie
- Histórie z modelu Magistral 25.06 miešali usudzovanie a odpoveď v texte pomocou značiek
<think>