Gesprekken met meerdere beurten: redenering in de geschiedenis behouden
Op deze pagina
Les herschreven op 2 november 2026. Deze les behandelde eerder de parameter
prompt_modevan Magistral, die bij dat model is verwijderd. De les behandelt nu een regel die in de huidige documentatie wordt benadrukt: bij gesprekken met meerdere beurten moet de redenering in de geschiedenis blijven. Bron: Reasoning — Multi-turn conversations.
De regel: het volledige bericht opnieuw afspelen
Bij de Chat Completions API bent u verantwoordelijk voor het bij elke beurt verzenden van de gespreksgeschiedenis. De verleiding is groot om alleen de responstekst op te nemen, omdat deze korter en leesbaarder is. De documentatie van Mistral is echter expliciet: speel altijd het volledige bericht van de assistent af, inclusief redeneerfragmenten. Het verwijderen van het redeneerspoor van de ene op de andere beurt verslechtert de prestaties van het model, aangezien het model hierop vertrouwt om coherentie te behouden. Tokens besparen gaat ten koste van de kwaliteit.
Referentiecode
De eenvoudigste aanpak is om het door de SDK geretourneerde berichtobject exact zoals het is aan de geschiedenis toe te voegen:
import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []
for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
messages.append(UserMessage(content=question))
response = client.chat.complete(
model="mistral-large-4-0",
messages=messages,
reasoning_effort="high",
)
assistant_message = response.choices[0].message
# Weergave: alleen responstekst
content = assistant_message.content
if isinstance(content, str):
print(content)
else:
print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))
# Geschiedenis: volledig bericht, inclusief redenering
messages.append(assistant_message)
De parameter timeout_ms verhoogt de wachttijd van de client, wat nuttig is wanneer lange redeneringen de responstijd verlengen. Het cruciale punt is de laatste regel: u voegt geen bericht toe dat alleen op basis van de tekst is gereconstrueerd, maar assistant_message zelf.
De kosten
Het officiële voorbeeld illustreert de impact op het aantal tokens. Bij de eerste beurt bevat het verzoek 25 inputtokens: alleen de vraag. Het model reageert met 187 tokens, inclusief redenering. Bij de tweede beurt stijgt de input naar 221 tokens: de eerste vraag (25), het volledige antwoord van de eerste beurt met de bijbehorende redenering (187) en de nieuwe vraag (9). Outputtokens van de ene beurt worden inputtokens van de volgende, en dit is precies wat het model in staat stelt ondubbelzinnig te weten naar welk “resultaat” de gebruiker verwijst.
Tijdens een lang gesprek zorgt dit mechanisme ervoor dat de geschiedenis bij elke beurt groeit. Twee praktische gevolgen: houd usage.prompt_tokens in de gaten, dat met het gesprek meegroeit, en houd rekening met het contextvenster van het model (256.000 tokens voor Small 4, één miljoen voor Large 4). Als de geschiedenis te zwaar wordt, start u een nieuw gesprek met een samenvatting van het vorige in plaats van redeneersporen te verwijderen.
Streaming en de Conversations API
In streaming-modus komt het antwoord in chunks binnen (Les 3): voor de geschiedenis moet u daarom zelf een compleet bericht reconstrueren, inclusief redenering, wat de code compliceert. Als uw applicatie conversationeel is, biedt de Conversations API een alternatief: de geschiedenis wordt server-side onderhouden en u zet de uitwisseling voort met conversations.append zonder eerdere beurten opnieuw te verzenden (Les 4).
Geschiedenissen gegenereerd door Magistral
Als u gesprekken bewaart die door Magistral zijn gegenereerd, houd er dan rekening mee dat hun formaat is gevarieerd. Versies 25.07 en 25.09 scheidden de redenering al in thinking-fragmenten, zoals ze dat vandaag de dag doen. Versie 25.06, de eerste release, plaatste de redenering direct in de responstekst, tussen de tags <think> en “. Voordat u dergelijke geschiedenissen afspeelt op Small 4 of Large 4, test u het hervatten op een paar gesprekken: er is geen garantie dat een huidig model redenering die in een ander formaat door een ander model is geschreven, zal benutten.
Belangrijkste punten
- In Chat Completions speelt u het volledige bericht van de assistent opnieuw af, inclusief redenering
- Het verwijderen van redeneerfragmenten bespaart tokens, maar verslechtert de kwaliteit aanzienlijk
- Outputtokens van de ene beurt worden inputtokens van de volgende: bewaak
prompt_tokens - Bij streaming vermijdt de Conversations API de noodzaak om de geschiedenis handmatig opnieuw samen te stellen
- Geschiedenissen van Magistral 25.06 mengden redenering en antwoord in de tekst, met behulp van
<think>-tags