Alternativ för tool_choice
På denna sida
Att bestämma vem som bestämmer
Att skicka tools till API:t innebär inte att modellen måste använda dem, eller ens att den får det. Mellan dessa två ytterligheter fungerar parametern tool_choice som skiljedomare. Beroende på vilket värde du tilldelar kan du låta modellen bedöma fritt, tvinga den att producera ett strukturerat anrop, eller helt återkalla dess åtkomst till de verktyg du just deklarerat. Det är en subtil inställning, men den ändrar radikalt hur samma kod beter sig när den ställs inför samma fråga.
| Värde | Beteende | Användningsområde |
|---|---|---|
auto | Modellen bestämmer fritt om den ska använda ett verktyg eller svara med text. Detta är standardläget. | Konversationsassistenter, allmänna chattbotar |
any | Modellen tvingas göra minst ett verktygsanrop. Den kan inte svara enbart med text. | Automatiserade flöden, strukturerad dataextraktion |
none | Modellen kan inte använda verktyg, även om de är definierade. Den svarar enbart med text. | Sammanfatta resultat utan nya anrop, formulera om ett svar |
required | Synonym till any. Modellen måste använda minst ett verktyg. | Motsvarar any, för kompatibilitet |
auto — Låt modellen bedöma
Detta är standardvärdet, det du använder utan att tänka på det närhelst du utelämnar parametern.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Valfritt, detta är standardvärdet
)
Med auto utvärderar modellen begäran innan den agerar. Om frågan kräver extern data som den inte besitter, anropar den en funktion; om frågan är generell eller relationell, svarar den direkt med text. Denna växel är vad som får en assistent att kännas naturlig: användaren behöver inte veta att det finns verktyg bakom kulisserna.
# Modellen kommer att anropa en funktion
messages = [{"role": "user", "content": "Status för betalning T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Modellen kommer att svara direkt
messages = [{"role": "user", "content": "Hej, hur mår du?"}]
# → content: "Hej! Jag är en betalningsassistent. Hur kan jag hjälpa dig?"
Det andra exemplet förtjänar uppmärksamhet: att tvinga fram ett funktionsanrop vid en enkel hälsning skulle producera ett retrieve_payment_status med ett påhittat ID. Det är precis vad auto förhindrar, vilket är varför detta läge förblir det vanligaste i produktion.
any — Tvinga fram strukturerad utdata
Å andra sidan finns det sammanhang där fri text inte har något värde för dig. Ett inmatningsflöde som bearbetar tiotusentals dokument förväntar sig användbar JSON, inte en artig mening. Med any måste modellen anropa minst en funktion, även om frågan inte verkar kräva det.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Intressant nog återanvänder det vanligaste användningsfallet funktionsanrop bortom dess ursprungliga syfte: du deklarerar inte en funktion för att köra den, utan för att garantera ett utdataschema. Här kommer extract_entities aldrig att anropas på serversidan; det är JSON-kontraktet vi bryr oss om.
# Strukturerad extraktion: tvinga modellen att extrahera data
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extraherar namngivna entiteter från text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang från Mistral presenterade "
"funktionsanrop den 15 mars 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Tvinga extraktion
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["15 mars 2026"])
Notera required i förbigående: det är en synonym till any, inkluderat för kompatibilitet med kod skriven för andra API:er. Båda värdena ger samma beteende; välj det som gör din kod mest läsbar och håll dig till det.
none — Inaktivera verktyg utan att ta bort dem
Det tredje värdet adresserar ett mindre uppenbart behov. Du har redan hämtat din data via flera tool_call, och nu vill du att modellen ska syntetisera dem. Om du fortsätter konversationen i läget auto finns inget som hindrar modellen från att anropa en funktion igen “bara för att kolla”, vilket ökar latens och kan utlösa en oändlig loop. none förbjuder alla nya anrop samtidigt som verktygsdefinitionerna behålls i kontexten, vilket hjälper modellen att tala korrekt om den data den redan har.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Tre användningsfall dyker ständigt upp: begära en sammanfattning efter en serie funktionsanrop, formulera om ett svar utan att utlösa nya anrop, och testa under utveckling hur modellen beter sig när den berövas sina verktyg, vilket snabbt avslöjar frågor den tror att den kan svara på från minnet.
# Efter att ha hämtat data via tool_calls...
# Begär en sammanfattning utan nya anrop
messages.append({
"role": "user",
"content": "Sammanfatta informationen från alla betalningar du hittade."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Modellen sammanfattar med det den redan har
)
Justera inställningen under konversationens gång
Du behöver inte ställa in tool_choice en gång vid start. I produktion är det vanligt att beräkna det vid varje tur baserat på kontext: konversationens första meddelande, avsikt upptäckt i begäran, eller antalet anrop som redan konsumerats. Funktionen nedan illustrerar denna logik i sin enklaste form – modellen förblir fri som standard, utom när användaren uttryckligen begär en sammanfattning.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Bestämmer tool_choice baserat på kontext."""
# Första tur: låt modellen bestämma
if turn_count == 0:
return "auto"
# Om användaren uttryckligen begär en sammanfattning
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Standard
return "auto"
I praktiken, behåll auto som din basinställning: det är det mest naturliga och flexibla. Reservera any för flöden med strukturerad dataextraktion, och none för stunder då du måste förhindra oändliga tool_call-loopar. En begränsning är absolut: ändra aldrig tool_choice mitt i bearbetningen av ett tool_call. Avsluta först cykeln genom att returnera alla förväntade tool-meddelanden, justera sedan parametern vid nästa tur – annars blir historiken inkonsistent och API:t avvisar begäran.
Viktiga punkter
tool_choicestyr när modellen använder funktionerauto= modellen bestämmer fritt (standard, rekommenderas för chattbotar)any= modellen tvingas anropa ett verktyg (flöden, strukturerad extraktion)none= verktyg inaktiverade (sammanfattningar, omformuleringar)- Anpassa
tool_choicedynamiskt baserat på konversationskontext