Možnosti tool_choice
Na tejto strane
Kto rozhoduje?
Odovzdanie parametra tools API neznamená, že model musí tieto nástroje použiť, ani že mu je to vôbec umožnené. Medzi týmito dvoma extrémami funguje parameter tool_choice ako rozhodca. Podľa hodnoty, ktorú mu priradíš, môžeš nechať model voľne rozhodovať, prinútiť ho vygenerovať štruktúrované volanie, alebo mu úplne zakázať prístup k nástrojom, ktoré si práve definoval. Je to jemné nastavenie, ktoré však radikálne mení správanie rovnakého kódu pri rovnakej otázke.
| Hodnota | Správanie | Prípad použitia |
|---|---|---|
auto | Model sa voľne rozhodne, či použije nástroj, alebo odpovie textom. Toto je predvolený režim. | Konverzační asistenti, všeobecné chatboty |
any | Model je nútený zavolať aspoň jeden nástroj. Nemôže odpovedať len textom. | Automatizované pipeline, štruktúrovaná extrakcia dát |
none | Model nemôže použiť nástroje, aj keď sú definované. Odpovedá výlučne textom. | Zhrnutie výsledkov bez nových volaní, preformulovanie odpovede |
required | Synonymum pre any. Model musí použiť aspoň jeden nástroj. | Ekvivalent any, určené pre kompatibilitu |
auto — Nechaj rozhodnúť model
Toto je predvolená hodnota, ktorú používaš, aniž by si si to uvedomoval, kedykoľvek tento parameter vynecháš.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="auto" # Voliteľné, toto je predvolená hodnota
)
Pri hodnote auto model najprv vyhodnotí požiadavku a až potom koná. Ak otázka vyžaduje externé dáta, ktoré nemá k dispozícii, zavolá funkciu; ak ide o všeobecnú alebo relačnú otázku, odpovie priamo textom. Práve tento prepínač robí asistenta prirodzeným: používateľ nemusí vedieť, že za oponou pracujú nástroje.
# Model zavolá funkciu
messages = [{"role": "user", "content": "Stav platby T1001?"}]
# → tool_call: retrieve_payment_status(transaction_id="T1001")
# Model odpovie priamo
messages = [{"role": "user", "content": "Ahoj, ako sa máš?"}]
# → content: "Ahoj! Som asistent pre platby. Ako ti môžem pomôcť?"
Druhý príklad si zaslúži pozornosť: vynútenie volania funkcie pri jednoduchom pozdrave by viedlo k volaniu retrieve_payment_status s vymysleným ID. Presne tomu zabraňuje režim auto, a preto zostáva v produkcii najpoužívanejším.
any — Vynútenie štruktúrovaného výstupu
Naopak, existujú kontexty, kde voľný text nemá žiadnu hodnotu. Pipeline spracovávajúca desaťtisíc dokumentov očakáva použiteľné JSON, nie zdvorilú vetu. Pri hodnote any model musí zavolať aspoň jednu funkciu, aj keď sa otázka nezdá byť takú vyžadujúca.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any"
)
Zaujímavé je, že najčastejšie použitie mení pôvodný zámer volania funkcií: funkciu nedeklaruješ preto, aby si ju vykonal, ale aby si zaručil schému výstupu. V tomto prípade sa extract_entities na strane servera nikdy nevykoná; záleží nám len na JSON kontraktoch.
# Štruktúrovaná extrakcia: prinúť model extrahovať dáta
tools = [{
"type": "function",
"function": {
"name": "extract_entities",
"description": "Extrahuje pomenované entity z textu",
"parameters": {
"type": "object",
"properties": {
"persons": {"type": "array", "items": {"type": "string"}},
"organizations": {"type": "array", "items": {"type": "string"}},
"dates": {"type": "array", "items": {"type": "string"}}
},
"required": ["persons", "organizations", "dates"]
}
}
}]
messages = [{"role": "user", "content": "Sophia Yang z Mistral predstavila "
"volanie funkcií 15. marca 2026."}]
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="any" # Vynútiť extrakciu
)
# → extract_entities(persons=["Sophia Yang"],
# organizations=["Mistral"],
# dates=["15. marca 2026"])
Mimochodom, hodnota required: je to synonymum pre any, zahrnuté pre kompatibilitu s kódom písaným pre iné API. Obe hodnoty produkujú rovnaké správanie; vyber si tú, ktorá robí tvoj kód čitateľnejším, a drž sa jej.
none — Zakázanie nástrojov bez ich odstránenia
Tretia hodnota rieši menej zrejmú potrebu. Už si získal dáta prostredníctvom niekoľkých tool_calls a teraz chceš, aby ich model syntetizoval. Ak by si pokračoval v konverzácii v režime auto, nič by nebránilo modelu znovu zavolať funkciu „len pre istotu“, čo by zvýšilo latenciu a mohlo by spustiť nekonečnú slučku. Hodnota none zakazuje akékoľvek nové volania, pričom definície nástrojov ponecháva v kontexte, čo pomáha modelu presne hovoriť o dátach, ktoré už má.
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none"
)
Tri prípady použitia sa objavujú neustále: požiadavka na zhrnutie po sérii volaní funkcií, preformulovanie odpovede bez spustenia nových volaní a testovanie vo vývoji, ako sa model správa, keď je zbavený svojich nástrojov, čo rýchlo odhalí otázky, o ktorých si myslí, že na ne vie odpovedať z pamäte.
# Po získaní dát prostredníctvom tool_calls...
# Požiadať o zhrnutie bez nových volaní
messages.append({
"role": "user",
"content": "Zhrň informácie zo všetkých platieb, ktoré si našiel."
})
response = client.chat.complete(
model="mistral-large-latest",
messages=messages,
tools=tools,
tool_choice="none" # Model zhrnie to, čo už má
)
Úprava nastavenia počas konverzácie
Nemusíš nastaviť tool_choice len raz pri štarte. V produkcii je bežné vypočítať ho pri každom kole na základe kontextu: prvá správa konverzácie, zámer zistený v požiadavke alebo počet už uskutočnených volaní. Nižšie uvedená funkcia ilustruje túto logiku v najjednoduchšej forme – model zostáva voľný štandardne, okrem prípadov, keď používateľ explicitne požiada o zhrnutie.
def get_tool_choice(user_input: str, turn_count: int) -> str:
"""Určuje tool_choice na základe kontextu."""
# Prvé kolo: nechaj rozhodnúť model
if turn_count == 0:
return "auto"
# Ak používateľ explicitne požiada o zhrnutie
if any(word in user_input.lower() for word in ["summarize", "recap", "synthesis"]):
return "none"
# Predvolené
return "auto"
V praxi si ako základné nastavenie ponechaj auto: je najprirodzenejšie a najflexibilnejšie. Režim any si vyhradź pre pipeline štruktúrovanej extrakcie dát a none pre momenty, keď musíš zabrániť nekonečným slučkám tool_call. Jedno obmedzenie je absolútne: nikdy nemen tool_choice uprostred spracovania tool_call. Najprv dokonči cyklus vrátením všetkých očakávaných správ tool a až potom uprav parameter v ďalšiom kole – inak sa história stane nekonzistentnou a API požiadavku odmietne.
Kľúčové poznatky
tool_choiceriadi, kedy model používa funkcieauto= model rozhoduje voľne (predvolené, odporúčané pre chatboty)any= model je nútený zavolať nástroj (pipeline, štruktúrovaná extrakcia)none= nástroje sú zakázané (zhrnutia, preformulovanie)- Dynamicky prispôsobuj
tool_choicena základe kontextu konverzácie