Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Flersvars-samtaler: hold ræsonnementet i historikken

Lektion 7 af 12 Opdateret 2. november 2026 Udvikler
På denne side
  1. Reglen: Afspil hele beskeden
  2. Referencekode
  3. Omkostningen
  4. Streaming og Conversations API’en
  5. Historikker genereret af Magistral
  6. Vigtige pointer

Lektionen er omskrevet den 2. november 2026. Den dækkede tidligere Magistral-parameteren prompt_mode, som blev fjernet sammen med den model. Den adresserer nu en regel fremhævet i den aktuelle dokumentation: I flersvars-samtaler skal ræsonnementet forblive i historikken. Kilde: Reasoning — Multi-turn conversations.

Reglen: Afspil hele beskeden

Med Chat Completions API’en er det dit ansvar at sende samtalehistorikken ved hvert svar. Fristelsen er stor til kun at inkludere selve svarteksten, da den er kortere og mere læsbar. Mistral-dokumentationen er eksplicit: afspil altid assistentens fulde besked, inklusive ræsonnementsfragmenter. Hvis du fjerner ræsonnementsspor fra det ene svar til det næste, forringes modellens ydeevne, da modellen er afhængig af dem for at opretholde sammenhæng. At spare tokens sker på bekostning af kvaliteten.

Referencekode

Den enkleste tilgang er at tilføje det beskedobjekt, som SDK’en returnerer, til historikken nøjagtig som det er:

import os
from mistralai.client import Mistral
from mistralai.client.models import TextChunk, UserMessage

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"], timeout_ms=300_000)
messages = []

for question in ["What is 17 × 23?", "Now multiply that result by 3."]:
    messages.append(UserMessage(content=question))

    response = client.chat.complete(
        model="mistral-large-4-0",
        messages=messages,
        reasoning_effort="high",
    )
    assistant_message = response.choices[0].message

    # Visning: kun svartekst
    content = assistant_message.content
    if isinstance(content, str):
        print(content)
    else:
        print("".join(c.text for c in content or [] if isinstance(c, TextChunk)))

    # Historik: fuld besked, inklusive ræsonnement
    messages.append(assistant_message)

Parameteren timeout_ms øger klientens ventetid, hvilket er nyttigt, når langt ræsonnement forlænger svartiden. Det afgørende punkt er den sidste linje: Du tilføjer ikke en besked rekonstrueret ud fra teksten alene, men selve assistant_message.

Omkostningen

Det officielle eksempel illustrerer effekten på antallet af tokens. Ved første svar indeholder anmodningen 25 input-tokens: kun spørgsmålet. Modellen svarer med 187 tokens, inklusive ræsonnement. Ved andet svar stiger inputtet til 221 tokens: det første spørgsmål (25), det fulde svar fra første runde med dets ræsonnement (187) og det nye spørgsmål (9). Output-tokens fra én runde bliver til input-tokens i næste, og det er præcis dette, der gør det muligt for modellen entydigt at vide, hvilket “resultat” brugeren henviser til.

Over en lang samtale får denne mekanisme historikken til at vokse ved hver runde. To praktiske konsekvenser: Overvåg usage.prompt_tokens, som vokser med samtalen, og hold modellens kontekstvindue for øje (256.000 tokens til Small 4, én million til Large 4). Hvis historikken bliver for tung, så start en ny samtale med et resumé af den tidligere, frem for at fjerne ræsonnementsspor.

Streaming og Conversations API’en

I streaming-tilstand ankommer svaret i bidder (Lektion 3): Til historikken skal du derfor selv sammensætte en komplet besked, inklusive ræsonnement, hvilket komplicerer koden. Hvis din applikation er samtalebaseret, tilbyder Conversations API’en et alternativ: Historikken vedligeholdes på serversiden, og du fortsætter udvekslingen med conversations.append uden at skulle gensende tidligere runder (Lektion 4).

Historikker genereret af Magistral

Hvis du bevarer samtaler genereret af Magistral, skal du bemærke, at deres format har varieret. Versionerne 25.07 og 25.09 adskilte allerede ræsonnementet i thinking-fragmenter, som de gør i dag. Version 25.06, den første udgivelse, placerede ræsonnementet direkte i svarteksten mellem <think>- og “-tags. Før du afspiller sådanne historikker på Small 4 eller Large 4, bør du teste genoptagelse på nogle få samtaler: Der er ingen garanti for, at en nuværende model vil kunne udnytte ræsonnement skrevet i et andet format af en anden model.

Vigtige pointer

  • I Chat Completions skal du afspille assistentens fulde besked, inklusive ræsonnement
  • At fjerne ræsonnementsfragmenter sparer tokens, men forringer kvaliteten markant
  • Output-tokens fra én runde bliver til input-tokens i næste: Overvåg prompt_tokens
  • Ved streaming undgår Conversations API’en behovet for manuelt at sammensætte historikken
  • Magistral 25.06-historikker blandede ræsonnement og svar i teksten ved hjælp af <think>-tags