Optionen für tool_choice
Auf dieser Seite
Wer entscheidet?
Das Übergeben von tools an die API bedeutet nicht, dass das Modell diese verwenden muss oder sogar darf. Zwischen diesen beiden Extremen fungiert der Parameter tool_choice als Schiedsrichter. Je nach zugewiesenem Wert können Sie das Modell frei entscheiden lassen, es zwingen, einen strukturierten Aufruf zu erzeugen, oder ihm den Zugriff auf die von Ihnen deklarierten Tools vollständig entziehen. Es handelt sich um eine subtile Einstellung, die jedoch radikal verändert, wie derselbe Code auf dieselbe Frage reagiert.
| Wert | Verhalten | Anwendungsfall |
|---|---|---|
auto | Das Modell entscheidet frei, ob es ein Tool verwendet oder in Text antwortet. Dies ist der Standardmodus. | Gesprächsassistenten, allgemeine Chatbots |
any | Das Modell wird gezwungen, mindestens ein Tool aufzurufen. Eine reine Textantwort ist nicht möglich. | Automatisierte Pipelines, strukturierte Datenerfassung |
none | Das Modell kann keine Tools verwenden, auch wenn diese definiert sind. Es antwortet ausschließlich in Text. | Zusammenfassung von Ergebnissen ohne neue Aufrufe, Umformulierung einer Antwort |
required | Synonym für any. Das Modell muss mindestens ein Tool verwenden. | Äquivalent zu any, für Kompatibilität |
auto — Dem Modell die Entscheidung überlassen
Dies ist der Standardwert, den Sie verwenden, ohne es zu bemerken, wenn Sie den Parameter weglassen.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Optional, dies ist der Standardwert
)
Bei auto bewertet das Modell die Anfrage, bevor es handelt. Wenn die Frage externe Daten erfordert, die das Modell nicht besitzt, ruft es eine Funktion auf; wenn die Anfrage allgemein oder relational ist, antwortet es direkt in Text. Dieser Schalter macht einen Assistenten natürlich: Der Nutzer muss nicht wissen, dass sich hinter dem Bildschirm Tools befinden.
# Das Modell wird eine Funktion aufrufen
messages = [{"role": "user", "content": "Status der Zahlung T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Das Modell wird direkt antworten
messages = [{"role": "user", "content": "Hallo, wie geht es Ihnen?"}]
# → content: "Hallo! Ich bin ein Zahlungsassistent. Wie kann ich Ihnen helfen?"
Das zweite Beispiel verdient besondere Aufmerksamkeit: Die Erzwingung eines Funktionsaufrufs auf eine einfache Begrüßung würde einen retrieve_payment_status mit einer erfundenen ID erzeugen. Genau das verhindert auto, weshalb dieser Modus in der Produktion am häufigsten verwendet wird.
any — Strukturierte Ausgabe erzwingen
Umgekehrt gibt es Kontexte, in denen freier Text für Sie keinen Wert hat. Eine Ingestion-Pipeline, die zehntausend Dokumente verarbeitet, erwartet nutzbares JSON, keine höfliche Formulierung. Mit any muss das Modell mindestens eine Funktion aufrufen, auch wenn die Frage dies nicht zu erfordern scheint.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Interessanterweise wird der häufigste Anwendungsfall die Funktionsaufrufung von ihrem ursprünglichen Zweck abwandeln: Sie deklarieren eine Funktion nicht, um sie auszuführen, sondern um ein Ausgabe-Schema zu garantieren. Hier wird extract_entities auf der Serverseite niemals aufgerufen; uns interessiert der JSON-Vertrag.
# Strukturierte Extraktion: Das Modell wird gezwungen, Daten zu extrahieren
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extrahiert benannte Entitäten aus Text",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang von Mistral präsentierte "
"function calling am 15. März 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Extraktion erzwingen
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["15. März 2026"])
Beachten Sie required beim Übergeben: Es ist ein Synonym für any und wurde für die Kompatibilität mit Code aufgenommen, der für andere APIs geschrieben wurde. Beide Werte erzeugen dasselbe Verhalten; wählen Sie den, der Ihren Code lesbarer macht, und bleiben Sie dabei.
none — Tools deaktivieren, ohne sie zu entfernen
Der dritte Wert adressiert ein weniger offensichtliches Bedürfnis. Sie haben Ihre Daten bereits über mehrere tool_calls abgerufen und möchten nun, dass das Modell diese synthetisiert. Wenn Sie das Gespräch im Modus auto fortsetzen, kann das Modell eine Funktion erneut aufrufen, „nur um nachzusehen”, was die Latenz erhöht und einen unendlichen Loop auslösen kann. none verbietet alle neuen Aufrufe, behält die Tool-Definitionen jedoch im Kontext bei und hilft dem Modell, präzise über die Daten zu sprechen, die es bereits besitzt.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Drei Anwendungsfälle treten ständig auf: Die Anforderung einer Zusammenfassung nach einer Reihe von Funktionsaufrufen, das Umformulieren einer Antwort ohne Auslösung neuer Aufrufe und das Testen in der Entwicklung, wie sich das Modell verhält, wenn es seiner Tools beraubt wird, was schnell Fragen offenlegt, die es aus dem Gedächtnis beantworten zu können glaubt.
# Nach dem Abrufen von Daten über tool_calls...
# Anforderung einer Zusammenfassung ohne neue Aufrufe
messages.append({
"role": "user",
"content": "Fassen Sie die Informationen von allen gefundenen Zahlungen zusammen."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Das Modell fasst mit dem vorliegenden Wissen zusammen
)
Die Einstellung während des Gesprächs anpassen
Sie müssen tool_choice nicht nur einmal beim Start festlegen. In der Produktion ist es üblich, ihn in jeder Runde basierend auf dem Kontext zu berechnen: die erste Nachricht des Gesprächs, die im Antrag erkannte Absicht oder die Anzahl der bereits verbrauchten Aufrufe. Die folgende Funktion illustriert diese Logik in ihrer einfachsten Form: Das Modell bleibt standardmäßig frei, es sei denn, der Nutzer fordert explizit eine Zusammenfassung.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Bestimmt tool_choice basierend auf dem Kontext."""
# Erste Runde: Dem Modell die Entscheidung überlassen
if turn_count == 0:
return "auto"
# Wenn der Nutzer explizit eine Zusammenfassung anfordert
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Standard
return "auto"
In der Praxis halten Sie auto als Basiseinstellung: Sie ist die natürlichste und flexibelste. Reservieren Sie any für Pipelines zur strukturierten Datenerfassung und none für Momente, in denen Sie unendliche tool_call-Loops verhindern müssen. Eine Einschränkung ist absolut: Ändern Sie tool_choice niemals mitten in der Verarbeitung eines tool_call. Vollenden Sie zunächst den Zyklus, indem Sie alle erwarteten tool-Nachrichten zurückgeben, und passen Sie den Parameter erst in der nächsten Runde an – sonst wird die Historie inkonsistent und die API lehnt die Anfrage ab.
Kernaussagen
tool_choicesteuert wann das Modell Funktionen verwendetauto= Das Modell entscheidet frei (Standard, empfohlen für Chatbots)any= Das Modell wird gezwungen, ein Tool aufzurufen (Pipelines, strukturierte Extraktion)none= Tools sind deaktiviert (Zusammenfassungen, Umformulierungen)- Passen Sie
tool_choicedynamisch basierend auf dem Gesprächskontext an