Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Valg af det rette ræsonnementsniveau

Lektion 12 af 12 Opdateret 2. november 2026 Udvikler
På denne side
  1. To knapper i stedet for en modelopstilling
  2. Beslutningsmatrix
  3. Beregn før du skalerer
  4. En router-arkitektur
  5. Best practices til produktion
  6. Kursusopsamling
  7. Vigtige pointer
  8. Test din viden

Lektionen er omskrevet den 2. november 2026. Tidligere sammenlignede den Mistral Smalls „justerbare” ræsonnement med Magistrals „native” ræsonnement, men Magistral blev udfaset den 31. juli 2026. Valget står nu mellem generalistmodeller og reasoning_effort-niveauer. Kilder: Reasoning · Small 4 og Large 4 modelkort.

To knapper i stedet for en modelopstilling

At vælge en ræsonnementsmodel hos Mistral betød tidligere at vælge mellem to forskellige opstillinger. I dag handler det om at justere to knapper: modellen (Small 4 til de fleste opgaver, Large 4 til de sværeste tilfælde) og ræsonnementsniveauet (none eller high på Small 4; low, medium eller high på Large 4). En enkelt applikation kan og bør ofte bruge flere kombinationer.

Beslutningsmatrix

SituationStartindstillingHvorfor
Faktaspørgsmål, omformulering, udtrækSmall 4, noneIntet at overveje: ræsonnement ville kun tilføje ventetid og tokens
Fleretrinsberegning, rutinemæssig fejlfinding, simpel sammenligningSmall 4, highRæsonnement retter kædefejl til en beskeden omkostning
Opsummering eller omformulering på Large 4Large 4, lowLarge 4 accepterer ikke none; low er det mest økonomiske niveau
Analyse med flere kriterier, migrationsplan, subtil fejlLarge 4, medium derefter highTest det mellemste niveau først; trap op, hvis kvaliteten kræver det
Kritisk beslutning (juridisk, finansiel, medicinsk)Large 4, high + verifikationRæsonnement reducerer fejl, men eliminerer dem ikke: et andet gennemløb eller menneskelig gennemgang er stadig nødvendigt

Denne matrix giver udgangspunkter, ikke absolutte sandheder: dine egne evalueringer afgør det. Husk også, at Large 4 er i offentlig forhåndsvisning pr. 2. november 2026.

Beregn før du skalerer

De listede satser (pr. million tokens, registreret den 2. november 2026) lader dig estimere omkostningen ved en indstilling ud fra usage-feltet i svar:

RATES = {  # USD pr. million tokens: (input, output)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # udfases, udfasning den 30. april 2027
}

def cost(response, model):
    """Omkostning ved et svar, inklusive ræsonnement (ekskl. cache-rabatter)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Summer denne omkostning pr. anmodningstype over nogle få dage med rigtig trafik: det tal fortæller dig, om en generaliseret high-indstilling er bæredygtig.

En router-arkitektur

I en rigtig applikation er de fleste anmodninger enkle. At betale for ræsonnement her giver ingen værdi. Følgende router spørger først Small 4, uden ræsonnement, for at estimere spørgsmålets kompleksitet og dirigerer derefter forespørgslen til den passende indstilling:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Dirigerer hvert spørgsmål til en model og et ræsonnementsniveau."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Vurder kompleksiteten af dette spørgsmål fra 0 til 10. Svar kun med tallet: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konservativ værdi, hvis svaret ikke er et tal

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Klassificeringskaldet koster lidt: et par dusin tokens på den billigste model, uden ræsonnement. Justér tærsklerne efter observation, og sammenlign kvaliteten og omkostningen ved hver gren.

Best practices til produktion

Log brug pr. gren. Gem for hvert svar modellen, niveauet, usage.prompt_tokens, usage.completion_tokens og den beregnede omkostning ovenfor. Uden disse tal kan du ikke se, om ræsonnementet betaler sig.

Fastlås datomærkede identifikatorer. Brug i produktion mistral-small-2603 frem for mistral-small-latest: et alias kan skifte til en ny version uden at din kode ændres. Centralisér disse identifikatorer i én konfiguration.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Planlæg en fallback. Da Large 4 er i offentlig forhåndsvisning, beskytter en fallback til Small 4 i high-tilstand din tjeneste, hvis kaldet fejler. Alle SDK HTTP-fejl arver fra MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Hold øje med udfasninger. Mistral-modellsiden lister udfasnings- og udløbsdatoer. Medium 3.5 udfases den 30. april 2027: hvis du bruger den, er fristen allerede sat.

Kursusopsamling

Ræsonnement giver modellen plads til at tænke, før den svarer; hos Mistral konfigurerer du dette pr. anmodning med reasoning_effort, hvis værdier afhænger af modellen. Svaret ankommer derefter som fragmenter – tænkning derefter svar – som du skal vide, hvordan du læser, også i streaming-tilstand, og afspiller fuldt ud til samtaler med flere tur. Agenter og Conversations API bærer den samme indstilling i completion_args. Magistral er udfaset: Small 4 og Large 4 overtager, mens Medium 3.5 kun tjener som et overgangstrin. Endelig er ræsonnement berettiget, hvor der er stier at udforske og fejl at fange (matematik, kode, beslutninger), og det skal altid måles: kvalitet, tokens, ventetid.

Vigtige pointer

  • To knapper: modellen (Small 4, Large 4) og reasoning_effort-niveauet
  • Small 4 i none til enkle opgaver, i high til flere trin; Large 4 til de sværeste tilfælde
  • Beregn hver indstilling ud fra usage og officielle satser før skalering
  • En router reserverer ræsonnement til forespørgsler, der drager fordel af det
  • I produktion: datomærkede identifikatorer, logs over brug, fallback fra Large 4 til Small 4

Test din viden

Fem spørgsmål til at validere kursussens essentielle punkter.

1. Hvilke reasoning_effort-værdier accepterer Mistral Large 4, og hvilken afviser den?

Svar: low, medium og high (dokumentationen anbefaler high som udgangspunkt). Den afviser none: niveauet, der tidligere hed sådan i dens forhåndsvisning, hedder nu low.

2. Hvor findes tænketeksten i et svar med ræsonnement?

Svar: I en ThinkChunk (type thinking) inden i message.content-listen. Dens thinking-felt er selv en liste af TextChunk-objekter, hvorfra du læser text-feltet. Det endelige svar findes i en TextChunk på øverste niveau.

3. Hvad skal du lægge tilbage i historikken for en samtale med flere tur i Chat Completions?

Svar: Assistents komplette besked, inklusive tænkefragmenter. At fjerne tænketeksten sparer tokens, men forringer kvaliteten af efterfølgende tur betydeligt.

4. Din kode kalder stadig magistral-medium-latest: hvad skal du gøre?

Svar: Migrér straks, da Magistral blev udfaset den 31. juli 2026. Mål mod Small 4, hvis kvaliteten er tilstrækkelig, ellers Large 4 med reasoning_effort="high"; Medium 3.5, den udpegede erstatning, er selv udfaset indtil den 30. april 2027. Fjern prompt_mode og tænkeskabelonen fra systemprompts.

5. Hvordan indstiller du reasoning_effort i en Mistral-agent?

Svar: I agentens completion_args-felt, f.eks. completion_args={"reasoning_effort": "high"}. Med Conversations API bruger du det samme felt ved hvert start eller append.