Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Indstillinger for tool_choice

Lektion 9 af 14 Opdateret 29. juli 2026 Udvikler
På denne side
  1. At beslutte, hvem der bestemmer
  2. auto — Lad modellen dømme
  3. any — Gennemtving struktureret output
  4. none — Deaktiver værktøjer uden at fjerne dem
  5. Juster indstillingen gennem samtalen
  6. Vigtige pointer

At beslutte, hvem der bestemmer

Det at sende tools til API’et betyder ikke, at modellen skal bruge dem, eller engang at den har lov til det. Mellem disse to yderpunkter fungerer parameteren tool_choice som dommer. Afhængigt af den værdi, du tildeler, kan du lade modellen dømme frit, tvinge den til at producere et struktureret kald eller helt fratage den adgangen til de værktøjer, du lige har defineret. Det er en subtil indstilling, men den ændrer radikalt, hvordan den samme kode opfører sig over for det samme spørgsmål.

VærdiAdfærdBrugssag
autoModellen beslutter frit, om den vil bruge et værktøj eller svare med tekst. Dette er standardtilstanden.Samtaleassistenter, generelle chatbots
anyModellen tvinges til at foretage mindst ét værktøjskald. Den kan ikke svare alene med tekst.Automatiserede pipelines, struktureret dataudtrækning
noneModellen kan ikke bruge værktøjer, selvom de er defineret. Den svarer kun med tekst.Opsummering af resultater uden nye kald, omformulering af et svar
requiredSynonym for any. Modellen skal bruge mindst ét værktøj.Ækvivalent med any, for kompatibilitet

auto — Lad modellen dømme

Dette er standardværdien, den du bruger uden at tænke over det, når du udelader parameteren.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="auto"  # Valgfri, dette er standardværdien
)

Med auto evaluerer modellen anmodningen, før den handler. Hvis spørgsmålet kræver eksterne data, den ikke besidder, kalder den en funktion; hvis forespørgslen er generel eller relationel, svarer den direkte med tekst. Denne omskiftelighed er det, der får en assistent til at føles naturlig: brugeren behøver ikke vide, at der er værktøjer bag skærmen.

# Modellen vil kalde en funktion
messages = [{"role": "user", "content": "Status for betaling T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")

# Modellen vil svare direkte
messages = [{"role": "user", "content": "Hej, hvordan har du det?"}]
# → content: "Hej! Jeg er en betalingsassistent. Hvordan kan jeg hjælpe dig?"

Det andet eksempel fortjener opmærksomhed: At tvinge et funktionskald ved en simpel hilsen ville producere et retrieve_payment_status med et opdigtet ID. Det er præcis det, auto forhindrer, hvilket er grunden til, at denne tilstand forbliver den mest almindelige i produktion.

any — Gennemtving struktureret output

Omvendt findes der kontekster, hvor frit formuleret tekst ikke har nogen værdi for dig. En indlæsningspipeline, der behandler ti tusind dokumenter, forventer brugbar JSON, ikke en høflig sætning. Med any skal modellen kalde mindst én funktion, selvom spørgsmålet ikke umiddelbart ser ud til at kræve det.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"
)

Interessant nok genbruger den hyppigste brugssag funktionskaldet fra dets oprindelige hensigt: Du definerer ikke en funktion for at eksekvere den, men for at garantere et output-skema. Her vil extract_entities aldrig blive kaldt på serversiden; det er JSON-kontrakten, vi bekymrer os om.

# Struktureret udtrækning: tving modellen til at udtrække data
tools = [{
    "type": "function",
    "function": {
        "name": "extract_entities",
        "description": "Udtrækker navngivne enheder fra tekst",
        "parameters": {
            "type": "object",
            "properties": {
                "persons": {"type": "array", "items": {"type": "string"}},
                "organizations": {"type": "array", "items": {"type": "string"}},
                "dates": {"type": "array", "items": {"type": "string"}}
            },
            "required": ["persons", "organizations", "dates"]
        }
    }
}]

messages = [{"role": "user", "content": "Sophia Yang fra Mistral præsenterede "
            "funktionskald den 15. marts 2026."}]

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="any"  # Gennemtving udtrækning
)

# → extract_entities(persons=["Sophia Yang"],
#                     organizations=["Mistral"],
#                     dates=["15. marts 2026"])

Bemærk required i forbifarten: Det er et synonym for any, inkluderet for kompatibilitet med kode skrevet til andre API’er. Begge værdier producerer samme adfærd; vælg den, der gør din kode mest læsbar, og hold fast i den.

none — Deaktiver værktøjer uden at fjerne dem

Den tredje værdi adresserer et mindre indlysende behov. Du har allerede hentet dine data via flere tool_call, og nu ønsker du, at modellen skal syntetisere dem. Hvis du fortsætter samtalen i auto-tilstand, er der intet, der stopper modellen i at kalde en funktion igen „bare for en sikkerheds skyld”, hvilket øger ventetiden og kan udløse en uendelig løkke. none forbyder alle nye kald, mens værktøjsdefinitionerne beholdes i konteksten, hvilket hjælper modellen med at tale præcist om de data, den allerede har.

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"
)

Tre brugssager dukker konstant op: Anmodning om en opsummering efter en række funktionskald, omformulering af et svar uden at udløse nye kald, og test under udvikling af, hvordan modellen opfører sig, når den fratages sine værktøjer, hvilket hurtigt afslører spørgsmål, den tror, den kan besvare fra hukommelsen.

# Efter at have hentet data via tool_calls...
# Anmod om en opsummering uden nye kald
messages.append({
    "role": "user",
    "content": "Opsummer informationerne fra alle de betalinger, du fandt."
})

response = client.chat.complete(
    model="mistral-large-latest",
    messages=messages,
    tools=tools,
    tool_choice="none"  # Modellen opsummerer med det, den allerede har
)

Juster indstillingen gennem samtalen

Du behøver ikke sætte tool_choice én gang ved opstart. I produktion er det almindeligt at beregne den ved hvert skift baseret på kontekst: den første besked i samtalen, intensitet opdaget i anmodningen eller antallet af allerede forbrugte kald. Funktionen nedenfor illustrerer denne logik i sin enkleste form – modellen forbliver fri som standard, undtagen når brugeren eksplicit anmoder om en opsummering.

def get_tool_choice(user_input: str, turn_count: int) -> str:
    """Bestemmer tool_choice baseret på kontekst."""

    # Første skift: lad modellen beslutte
    if turn_count == 0:
        return "auto"

    # Hvis brugeren eksplicit anmoder om en opsummering
    if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
        return "none"

    # Standard
    return "auto"

I praksis bør du beholde auto som din grundindstilling: Det er den mest naturlige og fleksible. Reserver any til pipelines til struktureret dataudtrækning og none til øjeblikke, hvor du skal forhindre uendelige tool_call-løkker. Én begrænsning er absolut: Skift aldrig tool_choice midt i behandlingen af et tool_call. Afslut først cyklussen ved at returnere alle forventede tool-beskeder, og juster derefter parameteren ved næste skift – ellers bliver historikken inkonsistent, og API’et afviser anmodningen.

Vigtige pointer

  • tool_choice styrer hvornår modellen bruger funktioner
  • auto = modellen beslutter frit (standard, anbefalet til chatbots)
  • any = modellen tvinges til at kalde et værktøj (pipelines, struktureret udtrækning)
  • none = værktøjer er deaktiveret (opsummeringer, omformulering)
  • Tilpas tool_choice dynamisk baseret på samtalekonteksten